Hadoop之HDFS详解
目录
- Hadoop之HDFS
- 第一章、HDFS概述
- 1.1 HDFS产生背景及定义
- 1.1.1 HDFS产生背景
- 1.1.2 HDFS定义
- 1.2 HDFS优缺点
- 1.2.1 HDFS优点
- 1.2.2 HDFS缺点
- 1.3 HDFS组成架构
- 1.4 HDFS文件块大小
- 1.1 HDFS产生背景及定义
- 第二章、HDFS的shell相关操作
- 2.1 基本语法
- 2.2 命令大全
- 2.3 常用命令实操
- 2.3.1 准备工作
- 2.3.2 上传
- 2.3.3 下载
- 2.3.4 直接操作
- 第三章、HDFS的客户端API
- 3.1 客户端环境准备
- 3.2 HDFS的API案例实操
- 3.2.1 HDFS文件上传
- 3.2.2 HDFS文件下载
- 3.2.3 HDFS文件更名和移动
- 3.2.4 HDFS删除文件和目录
- 3.2.5 HDFS文件详情查看
- 3.2.6 HDFS文件和文件夹判断
- 第四章、HDFS的读写流程
- 4.1 HDFS写数据流程
- 4.1.1 剖析文件写入
- 4.1.2 节点距离计算
- 4.1.3 机架感知（副本存储节点选择）
- 4.2 HDFS读数据流程
- 4.1 HDFS写数据流程
- 第五章、NN和2NN
- 5.1 NameNode的元数据如何存储
- 5.2 NameNode的工作机制
- 5.2.1 NameNode启动
- 5.2.2 2NN工作
- 5.3 Fsimage和Edits解析
- 5.4 CheckPoint时间设置
- 第六章、Datanode的工作机制
- 6.1 DataNode的工作机制
- 6.2 数据完整性
- 6.3 掉线时限参数设置
- 总结
- 第一章、HDFS概述
Hadoop之HDFS
第一章、HDFS概述
1.1 HDFS产生背景及定义
1.1.1 HDFS产生背景
- 随着数据量越来越大，在一个操作系统存不下所有的数据，那么需要把数据分配到更多的操作系统管理的磁盘上，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式管理系统中的一种
1.1.2 HDFS定义
- HDFS它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色
- HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变
1.2 HDFS优缺点
1.2.1 HDFS优点
- 高容错性
- 数据自动保存多个副本，它通过增加副本的方式，提高容错性
- 某一个副本丢失以后，它可以自动恢复
- 适合处理大数据
- 数据规模：能够处理数据规模达到GB、TB甚至PB级别的数据
- 文件规模：能够处理百万规模以上的文件数量，数量相当之大
- 可构建在廉价的机器上，通过多副本机制，提高可靠性
1.2.2 HDFS缺点
- 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的
- 无法高效的对大量小文件进行存储
- 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息，这样是不可取的，因为NameNode的内存总是有限的
- 小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标
- 不支持并发写入、文件随机修改
- 一个文件只能有一个写，不允许多个线程同时写
- 仅支持数据append（追加），不支持文件的随机修改
1.3 HDFS组成架构
- namenode
- 就是master，它是一个主管，管理者
- 管理HDFS的名称空间
- 配置副本策略
- 管理数据块（block）映射信息
- 处理客户端读写请求
- datanode
- 就是slave。namenode下达命令，DataNode执行实际的操作
- 执行数据块的读写操作
- client
- 就是客户端
- 文件切分。文件上传HDFS的时候，client将文件切分成一个个block，然后进行上传
- 与namenode交互，获取文件的位置信息
- 与datanode交互，读取或者写入数据
- client提供一些命令来管理HDFS，比如NameNode格式化
- client可以通过命令来访问HDFS，比如对HDFS进行增删改查操作
- SecondaryNameNode
- 并非NameNode的热备，当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务
- 辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode
- 在紧急情况下，可辅助恢复NameNode
1.4 HDFS文件块大小
-
HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadoop2.x和Hadoop3.X版本中是128M，1.X版本中是64M
- 如果寻址时间为10ms，即查找到目标block的时间为10ms
- 寻址时间为传输时间的1%时，则为最佳状态。因此传输时间=10ms/0.01=1000ms=1s
- 目前磁盘（机械硬盘）的传输速率普遍为100MB/s
#为什么块的大小不能设置太小，也不能设置太大 #HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置 #HDFS的块设置太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间，导致程序在处理这块数据时，会非常慢 ##总结：HDFS块的大小设置主要取决于磁盘传输速率
第二章、HDFS的shell相关操作
2.1 基本语法
hadoop fs 具体命令
hdfs dfs 具体命令
#这两种方式是完全相同的，个人习惯使用hadoop fs
2.2 命令大全
[xiaoyao@hadoop102 ~]$ hadoop fs
Usage: hadoop fs [generic options]
[-appendToFile ... ]
[-cat [-ignoreCrc] ...]
[-checksum ...]
[-chgrp [-R] GROUP PATH...]
[-chmod [-R] PATH...]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-copyFromLocal [-f] [-p] [-l] [-d] [-t ] ... ]
[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] ... ]
[-count [-q] [-h] [-v] [-t []] [-u] [-x] [-e] ...]
[-cp [-f] [-p | -p[topax]] [-d] ... ]
[-createSnapshot []]
[-deleteSnapshot ]
[-df [-h] [ ...]]
[-du [-s] [-h] [-v] [-x] ...]
[-expunge [-immediate]]
[-find ... ...]
[-get [-f] [-p] [-ignoreCrc] [-crc] ... ]
[-getfacl [-R] ]
[-getfattr [-R] {-n name | -d} [-e en] ]
[-getmerge [-nl] [-skip-empty-file] ]
[-head ]
[-help [cmd ...]]
[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [ ...]]
[-mkdir [-p] ...]
[-moveFromLocal [-f] [-p] [-l] [-d] ... ]
[-moveToLocal ]
[-mv ... ]
[-put [-f] [-p] [-l] [-d] [-t ] ... ]
[-renameSnapshot ]
[-rm [-f] [-r|-R] [-skipTrash] [-safely] ...]
[-rmdir [--ignore-fail-on-non-empty] ...]
[-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set ]]
[-setfattr {-n name [-v value] | -x name} ]
[-setrep [-R] [-w] ...]
[-stat [format] ...]
[-tail [-f] [-s ] ]
[-test -[defswrz] ]
[-text [-ignoreCrc] ...]
[-touch [-a] [-m] [-t TIMESTAMP ] [-c] ...]
[-touchz ...]
[-truncate [-w] ...]
[-usage [cmd ...]]
2.3 常用命令实操
2.3.1 准备工作
#启动hadoop集群
[xiaoyao@hadoop102 ~]$ myhadoop.sh start
#查看命令使用参数
[xiaoyao@hadoop102 ~]$ hadoop fs -help rm
-rm [-f] [-r|-R] [-skipTrash] [-safely] ... :
Delete all files that match the specified file pattern. Equivalent to the Unix
command "rm "
-f If the file does not exist, do not display a diagnostic message or
modify the exit status to reflect an error.
-[rR] Recursively deletes directories.
-skipTrash option bypasses trash, if enabled, and immediately deletes .
-safely option requires safety confirmation, if enabled, requires
confirmation before deleting large directory with more than
files. Delay is expected when
walking over large directory recursively to count the number of
files to be deleted before the confirmation.
#创建/sanguo文件夹
[xiaoyao@hadoop102 ~]$ hadoop fs -mkdir /sanguo
2.3.2 上传
-moveFromLocal:从本地剪切粘贴到HDFS
[xiaoyao@hadoop102 hadoop-3.2.2]$ echo "shuguo" >> shuguo.txt
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -moveFromLocal shuguo.txt /sanguo
#上传到HDFS后，本地文件就消失了，是剪切操作
-copyFromLocal：从本地文件系统拷贝到HDFS
[xiaoyao@hadoop102 hadoop-3.2.2]$ echo "weiguo" >> weiguo.txt
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -copyFromLocal weiguo.txt /sanguo
#上传到HDFS后，本地文件继续存在
-put 等同于-copyFromLocal 生产环境习惯使用-put
[xiaoyao@hadoop102 hadoop-3.2.2]$ echo "wuguo" >> wuguo.txt
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -put wuguo.txt /sanguo
-appendTOFile：追加一个文件到已经存在的文件末尾
[xiaoyao@hadoop102 hadoop-3.2.2]$ echo "liubei" >> liubei.txt
[xiaoyao@hadoop102 hadoop-3.2.2]$ echo "test" >> test.txt
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -appendToFile test.txt /sanguo/shuguo.txt
2.3.3 下载
-copyToLocal：从HDFS拷贝到本地
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./
-get 等同于-copyToLocal，生产环境更习惯使用-get
2.3.4 直接操作
- -ls：显示目录信息
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -ls /sanguo
Found 3 items
-rw-r--r-- 3 xiaoyao supergroup 19 2021-06-28 00:04 /sanguo/shuguo.txt
-rw-r--r-- 3 xiaoyao supergroup 7 2021-06-27 23:58 /sanguo/weiguo.txt
-rw-r--r-- 3 xiaoyao supergroup 6 2021-06-28 00:01 /sanguo/wuguo.txt
-
-cat：显示文件内容
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -cat /sanguo/weiguo.txt weiguo -
-chgrp、-chmod、-chown、：Linux文件系统中的用法一样，修改文件所属权限
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -chown xiaoyao:xiaoyao /sanguo/shuguo.txt -
-mkdir：创建目录
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -mkdir /jingguo -
-cp：从HDFS的一个路径拷贝到另一个路径
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -cp /sanguo/shuguo.txt /jingguo -
-mv：在HDFS目录中移动文件
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -mv /sanguo/weiguo.txt /jingguo [xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -mv /sanguo/wuguo.txt /jingguo -
-tail：显示一个文件的末尾1kb的数据
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -tail /sanguo/shuguo.txt /jingguo -
-rm：删除文件或文件夹
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -rm -r /sanguo/shuguo.txt -
-rm -r ：递归删除目录及目录中的内容
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -rm -r /sanguo Deleted /sanguo -
-du：统计文件夹的大小信息
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -du -s -h /jingguo 32 96 /jingguo [xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -du -h /jingguo 19 57 /jingguo/shuguo.txt 7 21 /jingguo/weiguo.txt 6 18 /jingguo/wuguo.txt -
-setrep：设置HDFS中文件的副本数量
[xiaoyao@hadoop102 hadoop-3.2.2]$ hadoop fs -setrep 10 /jingguo/weiguo.txt #这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多的副本，还是看DataNode的数量，因为目前只有三台设备，最多也就三个副本，只有节点数量增加到10台后，副本数才能达到10
第三章、HDFS的客户端API
3.1 客户端环境准备
-
把服务器上的hadoop-3.2.2目录文件夹拷贝到windows系统下的非中文目录下
-
配置Hadoop环境变量
-
下载到的hadooponwindows-master.zip，解压，将bin目录(包含以下.dll和.exe文件)文件替换原来hadoop目录下的bin目录
-
然后双击运行bin目录下的winutils.exe执行程序
- 如果出现报错，缺少dll文件，百度下载安装微软运行库即可
-
在IDEA中创建一个Maven工程HdfsClientDemo，并导入相应的依赖坐标+日志添加
org.apache.hadoop hadoop-client 3.2.2 junit junit 4.12 org.slf4j slf4j-log4j12 1.7.30 -
在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，文件内容
log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n log4j.appender.logfile=org.apache.log4j.FileAppender log4j.appender.logfile.File=target/spring.log log4j.appender.logfile.layout=org.apache.log4j.PatternLayout log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n
-
创建包名：com.xiaoyao.hdfs
-
创建HdfsClient类
#创建文件夹 public class HdfsClient { /** * 客户端代码常用套路 * 1、获取一个客户端对象 * 2、执行相关的操作命令 * 3、关闭资源 * */ private FileSystem fs; @Before public void init() throws URISyntaxException, IOException, InterruptedIOException { //连接集群的nn地址 URI uri = new URI("hdfs://hadoop102:8020"); //创建一个配置文件 Configuration configuration = new Configuration(); //用户 String user = "xiaoyao"; //获取一个客户端对象 FileSystem fs = FileSystem.get(uri, configuration, user); } @After public void close() throws IOException { //关闭资源 fs.close(); } @Test public void testmkdir() throws URISyntaxException, IOException, InterruptedIOException { //创建一个文件夹 fs.mkdirs(new Path(patString:"xiyou/huaguoshan")); } }
-
3.2 HDFS的API案例实操
3.2.1 HDFS文件上传
//上传
@Test
public void testPut() throws IOException {
//参数解读：参数一：表示删除原数据；参数二：是否允许覆盖；参数三：原数据路径；参数四：目的地路径fs.copyFromLocalFile(delSrc: false,overwrite: false,new Path(pathString:"D:\\sunwukong.txt"), new Path(pathString:"/xiyou/huaguoshan"));
}
/**
*参数优先级
* hdfs-default.xml => hdfs-site.xml => 在项目资源目录中的配置文件 => 代码里面的配置
*/
3.2.2 HDFS文件下载
//下载
@Test
public void testPut() throws IOException {
//参数解读：参数一：原文件是否删除；参数二：原文件路径HDFS；参数三：目的地址路径windows
fs.copyToLocalFile(delSrc: false,new Path(pathString:"/xiyou/huaguoshan"), new Path(pathString:"D:\\sunwukong.txt"));
}
3.2.3 HDFS文件更名和移动
//文件的更名和移动
public void testmv() throws IOException {
//参数解读：参数1：原文件路径；参数2：目标文件路径
// 对文件名称的修改
fs.rename(new Path(pathString:"/wcinput/test.txt"),new Path(pathString:"/wcinput/ss.txt"));
//文件的移动和更名
fs.rename(new Path(pathString:"/wcinput/ss.txt"),new Path(pathString:"/cls.txt"));
}
3.2.4 HDFS删除文件和目录
//删除
public void test Rm() throws IOException {
//参数解读：参数1：要删除的路径；参数2：是否递归删除
fs.delete(new Path(pathString: "/jdk-8u291-linux-x64.tar.gz"),recursive:false);
}
3.2.5 HDFS文件详情查看
//获取文件详细信息
public void fileDetail() throws IOException {
//获取文件所有信息
RemoteIterator listFiles = fs.listFiles(new Path(pathString:"/"), recursive: true);
//遍历文件
while (listFiles.hasNext()) {
LocatedFileStatus fileStatus = listFiles.next();
System.out.println("=========" + fileStatus.getPath() + "==========");
System.out.println(fileStatus.getPermission());
System.out.println(fileStatus.getOwner());
System.out.println(fileStatus.getGroup());
System.out.println(fileStatus.getLen());
System.out.println(fileStatus.getModificationTime());
System.out.println(fileStatus.getReplication());
System.out.println(fileStatus.getBlockSize());
System.out.println(fileStatus.getPath().getName());
//获取块信息
BlockLocation[] blockLocations = fileStatus.getBlockLocations();
System.out.println(Arrays.toString(blockLocations));
}
}
3.2.6 HDFS文件和文件夹判断
//判断文件和文件夹
public void testFile() throws IOException {
FileStatus[] listStatus = fs.listStatus(new Path(pathString: "/"));
for (FileStatus status : listStatus){
if (status.isFile()) {
System.out.println("文件", + status.getPath().getName());
}else {
System.out.println("目录",+ status.getPath().getName());
}
}
第四章、HDFS的读写流程
4.1 HDFS写数据流程
4.1.1 剖析文件写入
- 客户端需要创建一个分布式文件系统
- 客户端向NameNode请求上传文件/user/xiaoyao/ss,avi
- NameNode检测目录树是否能够创建文件：
- 检查权限
- 检查目录结构（目录是否存在）
- NameNode响应可以上传文件
- 客户端创建流请求上传第一个Block（0-128M），并要求NameNode返回可以上传的DataNode
- NameNode需要考虑每个节点是否可用，负载均衡、节点距离最近等多因素，然后返回datanode给客户端
- 客户端请求建立Block传输通道
- 第一个节点接收到数据后，往磁盘写入一份数据，在内存中保存一份，在内存中保存的数据传到下一个节点上
- NameNode返回传输状态给客户端
- 客户端传输单位是packet（64位），packet是由（chunk512byte+chunksum4byte）组成
4.1.2 节点距离计算
- 在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离如何计算呢？
- 节点距离：两个节点到达最近的共同祖先的距离总和
4.1.3 机架感知（副本存储节点选择）
- 第一个副本在client所处的节点上，如果客户端在集群外，随机选一个
- 第二个副本在另一个机架的随机一个节点
- 第三个副本在第二个副本所在机架的随机节点
4.2 HDFS读数据流程
- 客户端需要创建一个分布式文件系统对象，请求下载文件/usr/xiaoyao/ss.avi
- namenode返回目标文件的元数据
- 客户端创建流，请求读数据的块数据，会根据节点距离最近和负载能力
- datanode传输数据
第五章、NN和2NN
5.1 NameNode的元数据如何存储
- 首先我们做个假设，如果存储在NameNode节点的磁盘上，因为经常需要进行随机访问，还有响应客户请求，必然效率过低，因此，元数据需要存储在内存上，但如果只存在内存上，一旦断电，元数据丢失，整个集群就无法工作了，因此产生在磁盘上中备份元数据的FsImage。
- 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失，因此，引入Edits文件（只进行追加操作，效率很高）。每当元数据更新或者添加元数据时，修改内存中的元数据并追加到Edits中，这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。
- 但是如果长时间添加数据到Edits中，就会导致文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长，因此需要定期合并FsImage和Edits，如果这个操作都由NameNode节点完成，又会导致效率过低。因此引入了一个新的节点2NN，专门用于FsImage和Edits的合并
5.2 NameNode的工作机制
5.2.1 NameNode启动
- 第一次启动NameNode格式化后，创建FsImage和Edits文件，如果不是第一次启动，直接加载编辑日志和镜像文件到内存
- 客户端对元数据进行增删改的请求
- NameNode记录操作日志，更新滚动日志
- NameNode在内存中对数据进行增删改操作
5.2.2 2NN工作
- 2NN询问NameNode是否需要CheckPoint，直接带回NameNode是否需要检查结果
- 2NN请求执行checkpoint
- NameNode滚动正在写的Edits日志
- 将滚动前的编辑日志和镜像文件拷贝到2NN
- 2NN加载编辑日志和镜像文件到内存并合并
- 生产新的镜像文件fsimage.chkpoint
- 拷贝fsimage.chkpoint到NameNode
- NameNode将fsimage.chkpoint重命名为fsimage
5.3 Fsimage和Edits解析
-
NameNode被格式化后，将在/opt/module/hadoop-3.2.2/data/dfs/name/current目录中产生如下文件
-rw-rw-r--. 1 xiaoyao xiaoyao 1006 6月 30 22:22 fsimage_0000000000000000000 -rw-rw-r--. 1 xiaoyao xiaoyao 62 6月 30 22:22 fsimage_0000000000000000000.md5 -rw-rw-r--. 1 xiaoyao xiaoyao 4 6月 30 22:22 seen_txid -rw-rw-r--. 1 xiaoyao xiaoyao 218 6月 27 03:54 VERSION #fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inode的系列化信息 #Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中 #seen_txid文件：保存的是一个数字，就是最后一个edits_的数字 #每次NameNode启动的时候都会将fsimage文件读入内存，加载edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将Fsimage和edits文件进行了合并 -
oiv查看fsimage文件
#查看oiv和oev命令；其中oiv查看镜像文件，oev查看编辑日志 #基本语法 hdfs oiv -p 文件类型 -i 镜像文件 -o 转换后文件输出路径 [xiaoyao@hadoop102 current]$ cd /opt/module/hadoop-3.2.2/data/dfs/name/current/ [xiaoyao@hadoop102 current]$ hdfs oiv -p XML -i fsimage_0000000000000000189 -o /opt/src/fsimage.xml [xiaoyao@hadoop102 src]$ cat /opt/src/fsimage.xml -
oev查看edits文件
#基本语法 hdfs oev -p 文件类型 -i 编辑日志文件 -o 转换后文件输出路径 [xiaoyao@hadoop102 current]$ cd /opt/module/hadoop-3.2.2/data/dfs/name/current/ [xiaoyao@hadoop102 current]$ hdfs oiv -p XML -i edits_inprogress_0000000000000000192 -o /opt/src/edits.xml [xiaoyao@hadoop102 src]$ cat /opt/src/edits.xml
5.4 CheckPoint时间设置
- 通常情况下，2NN每隔一小时执行一次
- edits的数据达到一百万次
第六章、Datanode的工作机制
6.1 DataNode的工作机制
- 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳
- datanode启动后向NameNode注册，注册通过后，周期性（6小时）向NameNode汇报所有的块信息
- 心跳是3s一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块，如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用
- 集群运行中可以加入和退出一些机器
6.2 数据完整性
- 下面是DataNode节点保证数据完整性的方法
- 当DataNode读取block的时候，他会计算checksum
- 如果计算后的checksum，与block创建时不一样，说明block已经损坏
- client读取其他datanode上的block
- 常见的校验算法crc(32)、md5(128)、shal（160）
- DataNode在其文件创建后周期验证checksum
- 在Hadoop底层采用的是crc32这种校验方式
6.3 掉线时限参数设置
- DataNode进程死亡或者网络故障造成DataNode无法与NameNode通信
- NameNode不会立刻把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长
- HDFS默认的超时时长为10分钟+30秒
总结
需要掌握的内容
- 文件块大小和什么有关
- HDFS的shell操作
- HDFS的读写流程