二、HDFS学习

Hadoop Distributed File System 简称HDFS一、HDFS设计目标     1、支持海量的数据，硬件错误是常态，因此需要 ，就是备份    2、一次写多次读    3、运行在普通的硬件上面    4、数据块尽量散步到各个节点中 二、HDFS不适合的场景    1、不适合低延迟的数据，对一个大文件整个文件进行读取，即批量读取而非随机读取    2、小文件    3、无法对文件的内容任意修改 三、HDFS架构    1、一个文件被划分成大小固定的多个文件块，分布的存储在集群中的节点中     一个文件一台电脑直接读取需要花费很多时间，但是多个电脑同时读取就可以看出速度啦。    2、同一个文件块在不同的节点中有多个副本         如果说第一个节点处的文件1失效不能工作了，那么hadoop根据你的配置去自动需找其他的副本，这些副本的拷贝是在hadoop的配置文件中进行指定的，副本的个数都是可以配置的。    3、一个集中的地方保存文件的分块信息        集中的地方就叫做namenode用于保存分块的信息，namenode只有一个，首先我们必须从namenode获得分块信息，上面就是namenode中分块的信息。                                          上图是datanode的信息，就是讲文件进行分块存储，然后进行并行读取节点信息，相比传统的方式，一般是将硬盘作为一个节点进行存储，而hadoop则是将分布的主机作为节点进行存储。    4、HDFS体系结构         5、NameNode                 6、DataNode          四、总结    1、Block：一个文件分块，默认为64M    2、NameNode：保存整个文件的目录信息、文件信息以及文件相应的分块信息，如果namenode支持很多的datanode数据节点信息时，因为读取任意一个文件都需要从namenode中读取信息，那读取namenode就将是文件读取的瓶颈，所以为了避免这个问题的出现，一般将namenode的信息保存到内存中，同时将一些信息持久化到磁盘中，防止读取失败时有备份信息。    3、DataNode：用于存储Blocks    4、HDFS的HA策略：NameNode一旦宕机，整个文件系统将无法工作。如果NameNode中的数据丢失，整个文件系统也就丢失了。所以从hadoop2.x开始，HDFS支持NameNode的active-standy模式，就是同时开启多个namenode当active模式工作时，standy模式会同步active所有的信息，当active不能工作时，standy就会转变为active模式来接管namenode。

来自为知笔记(Wiz)