Hadoop入门教程（八）：DataNode 工作原理

DataNode 工作机制

当 DataNode 启动后会向 NameNode 注册自己，并按周期（1小时）上报自己所有 Block 数据块信息。

每3秒还会和 NameNode 传递心跳包，心跳包中包含了给 DataNode 的命令，如果超过10分钟没有收到 DataNode 的心跳，就认为该节点不可用。

数据完整性校验

为了确保数据传输的正确性，还会进行数据完整性校验，使用的是CRC算法，对数据进行计算产生一个校验位，如果校验位不一致，说明数据块已经损坏，Client会把坏的 Block 和 Block 所在的 DataNode 报告给 NameNode。

NameNode 会把这个 Block 标记为“已损坏”，标记为“已损坏” NameNode 就不会为客户端指向这个 Block，也不会用这个 Block 去复制到其他 DataNode；

NameNode 会把一个好的 Block 复制到另一个 DataNode上；然后 NameNode 删除掉坏的 Block。

DataNode 掉线设置

我们可以设置 hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒，来指定判定 DataNode 死亡的超时时间。

DataNode 新增节点

Hadoop 具有高扩展性，所以扩展 DataNode 数据节点是非常简单的，只需要根据前面文章的教程，配置一台 DataNode，直接启动就行，他会向 NameNode 注册自己，加入集群。

如果新加入的机器数据不平衡，可以执行 sbin/start-balancer.sh 数据块重分布，使得数据块分布均匀。

DataNode 移除节点

如果要从集群中踢出某个 DataNode 节点，可以使用白名单或黑名单的机制，但不允许白名单和黑名单中同时出现同一个主机名称。

白名单

添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。

在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts 文件，添加集群里各个节点主机名。注意路径改为你自己的。

在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>
    <name>dfs.hosts</name>
    <value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts</value>
</property>

将配置文件发送到各个节点的机器上，然后刷新 NameNode、更新ResourceManager节点：

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

黑名单

在黑名单上面的主机都会被强制退出。

在 NameNode 的 /opt/module/hadoop-2.10.1/etc/hadoop 目录下创建 dfs.hosts.exclude 文件，写入要踢出的节点主机名。注意路径改为你自己的。

在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性：

<property>
    <name>dfs.hosts.exclude</name>
    <value>/opt/module/hadoop-2.10.1/etc/hadoop/dfs.hosts.exclude</value>
</property>

刷新NameNode、刷新ResourceManager：

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。