订阅RSS：

任霏博客

上一篇文章我们大致了解了什么是 MapReduce，这一节我们将使用代码编程的方式实现 WordCount 案例，体验一下 MapReduce 到底是怎么回事。

之前的文章初步带大家了解了 HDFS，现在就带大家初探另一个 Hadoop 核心内容 MapReduce。

2021年3月18日，全球第二大开源软件商GitLab宣布极狐信息技术（湖北）有限公司正式在中国武汉注册成立。

上一篇我们大致讲了 HDFS，从本节以后我们将通过编程写代码的方式开始使用 Hadoop 为我们服务，所以需要先搭建本地的 Hadoop 开发环境。如果阅读了前面的文章并在虚拟机中成功搭建了Hadoop，那么在本地搭建是易如反掌的，如果您还没搭建过或者没阅读过前面的文章，建议先阅读前面的文章。

当 DataNode 启动后会向 NameNode 注册自己，并按周期（1小时）上报自己所有 Block 数据块信息。每3秒还会和 NameNode 传递心跳包，心跳包中包含了给 DataNode 的命令，如果超过10分钟没有收到 DataNode 的心跳，就认为该节点不可用。

上一篇我们已经可以通过编程的方式操作 HDFS 了，但这一切背后在Hadoop集群里发生了什么呢，本篇文章简单介绍一下 HDFS 的读写流程。

本教程将带你创建一个自定义的 Apache NiFi Processor 项目，创建自己的处理器处理 FlowFile，本文的源代码在此处公开：https://github.com/renfei/demo/tree/master/nifi/nifi-custom-bundle

上一篇讲了使用 Shell 命令操作 HDFS，但实际中我们肯定不可能一直手动操作，还是需要通过编程实现自动化的，所以本文将带你熟悉一下使用 Java 编程控制 HDFS 中的文件。

我之前写了一篇《SpringBoot项目打包成jar后读取文件的大坑，使用ClassPathResource获取classpath下文件失败》，发表在了我的博客和 CSDN 上。很久没登陆 CSDN 了，今天登陆进来发现两个网友的留言，都说是用我的方式亲测，获取不到。

HDFS是指 Hadoop Distributed File System，Hadoop分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

上一篇我们尝试了伪分布式的安装搭建，但真正使用的是分布式集群，所以这才是重点，本文章将使用三个节点来安装最小的Hadoop集群，体验完全分布式的环境。

博文分类

热评文章

热文排行