（二）HDFS——节点分析及新特性

目录

• • 一、NameNode和SecondaryNameNode
  • • 1.NN和2NN工作机制
    • 2.Fsimage 和 Edits解析
    • 3.CheckPoint时间设置
    • 4.NameNode故障处理
    • 5.集群安全模式
    • 6.NameNode多目录配置
  • 二、DataNode
  • • 1.DataNode工作机制
    • 2.数据完整性
    • 3.掉线时限参数设置
    • 4.服役新数据节点
    • 5.退役旧数据节点
    • • 5.1添加白名单
      • 5.2黑名单退役
    • 6.DataNode多目录配置
  • 三、HDFS 2.X 新特性
  • • 1.集群间数据拷贝
    • 2.小文件存档

接上篇：（一）HDFS的认识及使用Java对其的简单操作

一、NameNode和SecondaryNameNode

1.NN和2NN工作机制

NameNode中的元数据是存储在哪里的？

  首先，假设存储在NameNode节点中的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。

这样又会带来新的问题，当在内存中的原始数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生不一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件（只进行追加操作，效率很高）。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage 和Edits的合并，合成元数据。

  但是，如果长时间添加数据到Edits中，会导致文该文件过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作有NameNode节点完成，又会效率过低。因此，引入一个新节点SecondaryNameNode（简称2NN），专门用于FsImage和Edits的合并。

NN和2NN工作机制如图所示：

1. 第一个阶段：NameNode启动

   （1）第一次启动NameNode格式化后，创建Fsimage和 Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。

   （2）客户端对元数据进行增删改的请求。

   （3）NameNode记录操作日志，更新滚动日志。

   （4）NameNode在内存中对元数据进行增删改。

2. 第二阶段：SecondaryNameNode工作

   （1）SecondaryNameNode询问NameNode是否需要CheckPonit。直接带回NameNode是否检查结果。

   （2）SecondaryNameNode请求执行CheckPoint。

   （3）NameNode滚动 正在写的Edits日志。

   （4）将滚动前的编辑日志和镜像文件拷贝到SecondaryNameNode。

   （5）SecondaryNameNode加载编辑日志和镜像文件到内存，并合并。

   （6）生成新的镜像文件fsimage.chkpoint。

   （7）拷贝fsimage.chkploint 到 NameNode。

   （8）NameNode 将 fsimage.chkpoint 重新命名成fsimage。

NN和2NN工作机制详解：

Fsimage：NameNode内存中元数据序列化后形成的文件。

Edits：记录客户端更新元数据信息的每一步操作（可通过Edits运算出元数据）。

NameNode启动时，先滚动Edits并生成一个空的edits.inprogress，然后加载Edits和Fsimage到内存中，此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求，这些请求的操作首先会被记录到edits.inprogress中（查询元数据的操作不会被记录在Edits中，因为查询操作不会更改元数据信息），如果此时NameNode挂掉，重启后会从Edits中读取元数据的信息。然后，NameNode会在内存中执行元数据的增删改的操作。

由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。

SecondaryNameNode首先会询问NameNode是否需要CheckPoint（触发CheckPoint需要满足两个条件中的任意一个，定时时间到和Edits中数据写满了）。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作，首先会让NameNode滚动Edits并生成一个空的edits.inprogress，滚动Edits的目的是给Edits打个标记，以后所有新的操作都写入edits.inprogress，其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地，然后将拷贝的Edits和Fsimage加载到内存中进行合并，生成fsimage.chkpoint，然后将fsimage.chkpoint拷贝给NameNode，重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可，因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

2.Fsimage 和 Edits解析

1. 概念

  NameNode背个时候，将在/opt/moudule/hadoop-2.7.2/data/tmp/dfs/name/current 目录中产生如下文件。

（1）Fsimage 文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。

（2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中。

（3）seen_txid文件保存的是一个数字，就是最后一个edits_的数字。

（4）每次NameNode启动的时候都会将Fsimage文件读入内存，加载Edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候将Fsimage和Edits文件进行了合并。

2. oiv查看Fsimage文件

（1）查看oiv 和 oev命令

（2）基本语法

hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径

（3）案例实操

3. oev查看Edits文件

（1）基本语法

hdfs oev -p 文件类型 -i编辑日志 -o 转换后文件输出路径

（2）案例实操

3.CheckPoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。

在默认配置文件里：

【hdfs-default.xml】

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>

           

（2）一分钟检查一次操作次数，当操作次数达到一百万时，SecondaryNameNode执行一次。

<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
<description>操作动作次数</description>
</property>

<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
<description> 1分钟检查一次操作次数</description>
</property >

           

4.NameNode故障处理

NameNode故障后，可以采用如下两种方法恢复数据。

方法一：将secondaryNameNode中数据拷贝到NameNode存储数据的目录。

（1）kill -9 NameNode 进程

（2）删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
           

（3）拷贝SecondaryNameNode中数据到远NameNode存储数据目录

[[email protected] dfs]$ scp -r [email protected]:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
           

（4）重新启动NameNode

hadoop-daemon.sh start namenode
           

方法二：使用-importCheckpoint 选项启动NameNode守护进程，从而将SecondaryNameNode中数据拷贝到NameNode目录中。

（1）修改hdfs-site.xml中的

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>120</value>
</property>

<property>
  <name>dfs.namenode.name.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>

           

（2）kill -9 NameNode进程

（3）删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name）

rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
           

（4）如果SecondaryNameNode不和NameNode在一个主机节点上，需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录，并删除in_use.lock文件。

（5）导入检查点数据（等待一会Ctrl+c结束掉）

[[email protected] hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint
           

（6）启动NameNode

hadoop-daemon.sh start namenode
           

5.集群安全模式

1. 概述

   （1）NameNode启动

     NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程期间，NameNode一直运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。

   （2）DataNode启动

     系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。在系统的正常操作期间，NameNode会在内存中保留所有块位置的映射信息。在安全模式下，各个DataNode会向NameNode发送最新的块列表信息，NameNode了解到足够多的块位置信息之后，即可高效运行文件系统。

   （3）安全模式退出判断

     如果满足“最小副本条件”，NameNode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中99.9%的块满足最小副本级别（默认值：dfs.replication.min=1）。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以NameNode不会进入安全模式。

2. 基本语法

     集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。

   （1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）

   （2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）

   （3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）

   （4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）

6.NameNode多目录配置

1. NameNode的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性

2. 具体配置如下：

   （1）在hdfs-site.xml文件中增加如下内容

<property>
    <name>dfs.namenode.name.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/name1,file:///${hadoop.tmp.dir}/dfs/name2</value>
</property>

           

（2）停止集群，删除 data 和 logs 中所有数据。

[[email protected] hadoop-2.7.2]$ rm -rf data/ logs/
[[email protected] hadoop-2.7.2]$ rm -rf data/ logs/
[[email protected] hadoop-2.7.2]$ rm -rf data/ logs/
           

（3）格式化集群并启动

[[email protected] hadoop-2.7.2]$ bin/hdfs namenode –format
[[email protected] hadoop-2.7.2]$ sbin/start-dfs.sh
           

（4）查看结果

[[email protected] dfs]$ ll
总用量 12
drwx------. 3 fseast fseast 4096 12月 11 08:03 data
drwxrwxr-x. 3 fseast fseast 4096 12月 11 08:03 name1
drwxrwxr-x. 3 fseast fseast 4096 12月 11 08:03 name2

           

二、DataNode

1.DataNode工作机制

DataNode工作机制如图所示：

（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个数据本身，一个是元数据包括数据库的长度，块数据的校验和，以及时间戳。

（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或者删除某一个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

（4）集群运行中可以安全加入和退出一些机器。

2.数据完整性

【思考】如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（2），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如果解决呢？

  如下是DataNode节点保证数据完整性的方法：

（1）当DataNode读取Block的时候，它会计算CheckSum。

（2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

（3）Client读取其他DataNode上的Block。

（4）DataNode在其他文件创建后周期验证CheckSum，如图所示：

3.掉线时限参数设置

1. DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信。
2. NameNode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。
3. HDFS默认的超时时长为10分钟+30秒。
4. 如果定义超时时间为TimeOut，则超时时长的计算公式为：

TimeOut  = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。

           

而默认的dfs.namenode.heartbeat.recheck-interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。

  需要注意的是 hdfs-site.xml 配置文件中的 heartbeat.recheck.interval 的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>
           

4.服役新数据节点

需求：

随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

1. 环境准备：

   （1）准备新的节点hadoop105，修改IP地址和主机名

   （2）把hadoop104用到的相关软件及配置信息拷贝过去。

   （3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop-2.7.2/data和log）

   （4）source 一下配置文件

   source /etc/profile

2. 服役新节点具体步骤

   （1）直接启动DataNode，即关联集群

[[email protected] hadoop-2.7.2]$ hadoop-daemon.sh start datanode
[[email protected] hadoop-2.7.2]$ yarn-daemon.sh start nodemanager
           

（2）在hadoop105上上传文件

[[email protected] hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /
           

（3）如果数据不均衡，可以用命令实现集群的再平衡

[[email protected] sbin]$ ./start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-fseast-balancer-hadoop102.out
Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
           

5.退役旧数据节点

5.1添加白名单

  添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。

配置白名单的具体步骤如下：（操作退出hadoop105）

（1）在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件

[[email protected] hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[[email protected] hadoop]$ touch dfs.hosts
[[email protected] hadoop]$ vim dfs.hosts
           

  添加如下主机名称（不添加hadoop105）

hadoop102
hadoop103
hadoop104
           

（2）在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>
           

（3）配置文件分发到其他节点

（4）刷新NameNode

hdfs dfsadmin -refreshNodes
           

（5）更新ResourceManager节点

[[email protected] hadoop-2.7.2]$ yarn rmadmin -refreshNodes

           

（6）在web浏览器上查看

（7）如果数据不均衡，可以用命令实现集群的再平衡

start-balancer.sh
           

5.2黑名单退役

在黑名单上面的主机都会被强制退出。

1. 在NameNode 的 /opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件，并在该文件中添加如下主机名称（要退役的节点）：

hadoop105
           

1. 在NameNode 的 hdfs-site.xml 配置文件中增加dfs.hosts.exclude 属性：

<property>
	<name>dfs.hosts.exclude</name>
      <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>
           

1. 刷新NameNode、刷新ResourceManager

[[email protected] hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
           

[[email protected] hadoop-2.7.2]$ yarn rmadmin -refreshNodes
           

1. 检查Web浏览器，退役节点的状态为 Decommission In Progress（退役中），说明数据节点正在复制快到其他节点。

2. 等待退役节点状态为Decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3， 是不能退役成功的，需要修改副本数后才能退役。

   停止该节点：

   hadoop-daemon.sh stop datanode

   停止该节点资源管理器：

   yarn-daemon.sh stop nodemanager

3. 如果数据不均衡，可以用命令实现集群的再平衡

start-balancer.sh
           

注意：不允许白名单和黑名单中同时出现同一个主机名称

6.DataNode多目录配置

1. DataNode也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。（用处不大）

2. 具体配置如下

   hdfs-site.xml

<property>
        <name>dfs.datanode.data.dir</name>
	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>
           

三、HDFS 2.X 新特性

1.集群间数据拷贝

1. scp 实现两个远程主机之间的文件复制

scp -r hello.txt [email protected]:/user/fseast/hello.txt		// 推 push

scp -r [email protected]:/user/fseast/hello.txt  hello.txt		// 拉 pull

scp -r [email protected]:/user/fseast/hello.txt [email protected]:/user/fseast
//是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

           

1. 采用 distcp 命令实现两个Hadoop 集群之间的递归数据复制。

2.小文件存档

1. HDFS存储小文件弊端

     每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。例如，一个1MB的文件设置而为128MB的块存储，实际使用的是1MB的磁盘空间，而不是128MB。

2. 解决存储小文件办法之一

     HDFS存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少NameNode内存使用的同时，允许对文件进行透明的访问。具体来说，HDFS存档文件对内还是一个一个独立文件，对NameNode而言却是一个整体，减少NameNode的内存。

   

3. 实例操作

   （1）需要启动YARN进程

start-yarn.sh
           

（2）归档文件

  把/user/fseast/input 目录里面的所有文件归档成一个叫input.har 的归档文件，并把归档后文件存储到/user/fseast/input/output 路径下。

hadoop archive -archiveName input.har –p  /user/fseast/input   /user/fseast/output
           

（3）查看归档

hadoop fs -lsr /user/fseast/output/input.har
           

hadoop fs -lsr har:///user/fseast/output/input.har
           

（4）解归档文件

hadoop fs -cp har:/// user/fseast/output/input.har/*    /user/fseast