Hadoop-day03(part2_后一半集群搭建及基础命令)

Hadoop2.7.6学习

二、分布式文件系统

1、FS File System

? 文件系统时极域硬盘之上的文件管理的工具

? 我们用户操作文件系统可以和硬盘进行解耦

2、DFS Distributed File System

? 分布式文件系统

? 将我们的数据存放在多台电脑上存储

? 分布式文件系统有很多,HDFS(Hadoop Distributed FileSyetem)是Hadoop自带的分布式文件系统

? HDFS是mapreduce计算的基础

三、文件切分的思想（引出分而治之的思想 第一个核心思想）

? a. 文件存放在一个磁盘上效率肯定是最低的

? 读取效率低

? 如果文件特别大会超出单机的存储范围

? b. 字节数组

? 文件在磁盘真实存储文件的抽象概念

? 数组可以进行拆分和组装,源文件不会收到影响

? c. 切分数据

? 对字节数组进行切分

? d. 拼接数据

? 按照数组的偏移量将数据连接到一起，将字节数组连接到一起

? e. 偏移量

? 当前数据在数组中的相对位置,可以理解为下标

? 数组都有对应的索引,可以快速定位数据

? f. 数据存储的原理:

? 不管文件的大小,所有的文件都是由字节数组构成

? 如果我们要切分文件,就是将一个字节数组分成多份

? 我们将切分后的数据拼接到一起,数据还可以继续使用

? 我们需要根据数据的偏移量将他们重新拼接到一起

四、Block拆分标准

数据块Block

? a. 是磁盘进行数据 读/写的最小单位,数据被切分后的一个整体被称之为块
? b. 在Hadoop 1默认大小为64M,在Hadoop 2及其之后默认大小为128M块，这么大是为了最小化寻址开销
? c. 同一个文件中,每个数据块的大小要一致除了最后一个节点外
? 不同文件中,块的大小可以不一致
? 文件大小不同可以设置不同的块的数量
? HDFS中小于一个块的大小的文件不会占据整个块的空间
? d. 真实情况下,会根据文件大小和集群节点的数量综合考虑块的大小
? e. 数据块的个数=Ceil(文件大小/每个块的大小)

拆分的数据块需要等大(面试题)

? a. 数据计算的时候简化问题的复杂度(否则进行分布式算法设计的时候会因为数据量不一很难设计)
? b. 数据拉取的时候时间相对一致
? c. 通过偏移量就知道这个块的位置
? d. 相同文件分成的数据块大小应该相等

注意事项

? a. 只要有任意一个块丢失,整个数据文件被损坏
? b. HDFS中一旦文件被存储,数据不允许被修改
? 修改会影响偏移量

修改会导致数据倾斜（单节点数据量过多）

? 修改数据会导致蝴蝶效应
? c. 但是可以被追加(一般不推荐)
? 追加设置需要手动打开
? d. 一般HDFS存储的都是历史数据.所以将来Map Reduce都用来进行离线数据的处理
? f. 块的大小一旦文件上传之后就不允许被修改 128M-512M

五、Block数据安全

? a. 只要有任意一个块丢失,整个数据文件被损坏
? b. 肯定要对存储数据做备份
? c. HDFS是直接对原始数据进行备份的,这样能保证恢复效率和读取效率
? d. 备份的数据肯定不能存放在一个节点上,使用数据的时候可以就近获取数据
? f. 备份的数量要小于等于节点的数量
? g. 每个数据块默认会有三个副本,相同副本是不会存放在同一个节点上
? h. 副本的数量可以变更
? 可能近期数据被分析的可能性很大,副本数可以多设置几个
? 后期数据很少被分析,可以减少副本数

六、Block的管理效率

需要专门给节点进行分工

  • 存储 DataNode 实际存储数据的节点
  • 记录 NameNode
  • 日志 Secondary NameNode

Hadoop集群搭建（完全分布式版本）

一、准备工作

  • 三台虚拟机：master、node1、node2

  • 时间同步

    ntpdate ntp.aliyun.com

  • 调整时区

    cp  /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime

  • jdk1.8

    java -version

  • 修改主机名

    三台分别执行 vim /etc/hostname 并将内容指定为对应的主机名

  • 关闭防火墙：systemctl stop firewalld

    • 查看防火墙状态：systemctl status firewalld
    • 取消防火墙自启：systemctl disable firewalld

  • 静态IP配置

    • 直接使用图形化界面配置（不推荐）

    • 手动编辑配置文件进行配置

      1、编辑网络配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
BOOTPROTO=static
HWADDR=00:0C:29:E2:B8:F2
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.190.100
GATEWAY=192.168.190.2
NETMASK=255.255.255.0
DNS1=192.168.190.2
DNS2=223.6.6.6

需要修改：HWADDR（mac地址,centos7不需要手动指定mac地址）
		IPADDR（根据自己的网段，自定义IP地址）
		GATEWAY（根据自己的网段填写对应的网关地址）

2、关闭NetworkManager，并取消开机自启
systemctl stop NetworkManager
systemctl disable NetworkManager

3、重启网络服务
systemctl restart network

  • 免密登录

    # 1、生成密钥
ssh-keygen -t rsa
# 2、配置免密登录
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
# 3、测试免密登录
ssh node1

  • 配置好映射文件：/etc/hosts

    192.168.190.100 master
192.168.190.101 node1
192.168.190.102 node2

二、搭建Hadoop集群

NameNode：接受客户端的读/写服务,收集 DataNode 汇报的 Block 列表信息

DataNode：真实数据存储的地方（block）

SecondaryNameNode：做持久化的时候用到

进程 master（主） node1（从） node2（从）
NameNode √
SecondaryNameNode √
ResourceManager √
DataNode √ √
NodeManager √ √

2.1 完全分布式搭建

1、上传安装包并解压

# 使用xftp上传压缩包至master的/usr/local/soft/packages/
cd /urs/local/soft/packages/
# 解压
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/

2、配置环境变量

vim /etc/profile

JAVA_HOME=/usr/local/soft/jdk1.8.0_171
HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 重新加载环境变量
source /etc/profile

3、修改Hadoop配置文件

  • cd /usr/local/soft/hadoop-2.7.6/etc/hadoop/

  • core-site.xml

    fs.defaultFS： 默认文件系统的名称。其方案和权限决定文件系统实现的URI。uri的方案确定命名文件系统实现类的配置属性（fs.scheme.impl）。uri的权限用于确定文件系统的主机、端口等。

    hadoop.tmp.dir：是 hadoop文件系统依赖的基本配置，很多配置路径都依赖它，它的默认位置是在 /tmp/{$user}下面，注意这是个临时目录！！！

    因此，它的持久化配置很重要的！ 如果选择默认，一旦因为断电等外在因素影响，/tmp/{$user}下的所有东西都会丢失。

    fs.trash.interval：启用垃圾箱配置，dfs命令删除的文件不会立即从HDFS中删除。相反，HDFS将其移动到垃圾目录（每个用户在/user//.Trash下都有自己的垃圾目录）。只要文件保留在垃圾箱中，文件可以快速恢复。

        
        fs.defaultFS
        hdfs://master:9000
    

    
        hadoop.tmp.dir
        /usr/local/soft/hadoop-2.7.6/tmp
    

    
        fs.trash.interval
        1440

  • hadoop-env.sh

    export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

    image.png

  • hdfs-site.xml

  • dfs.replication：每个datanode上只能存放一个副本。我这里就2个datanode

    dfs.permissions：如果为“true”，则在HDFS中启用权限检查。如果为“false”，则关闭权限检查，但所有其他行为保持不变。从一个参数值切换到另一个参数值不会更改文件或目录的模式、所有者或组。

        
        dfs.replication
        1
    

    
        dfs.permissions
        false

  • mapred-site.xml.template

  • mapreduce.framework.name：用于执行MapReduce作业的运行时框架。

    mapreduce.jobhistory.address：Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过*mr-jobhistory-daemon.sh start historyserver命令来启动Hadoop历史服务器。我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志。mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address默认的值分别是0.0.0.0:10020和0.0.0.0:19888

    # 1、重命名文件
cp mapred-site.xml.template mapred-site.xml
# 2、修改
    
        mapreduce.framework.name
        yarn
    

      
        mapreduce.jobhistory.address  
        master:10020  
      

      
        mapreduce.jobhistory.webapp.address  
        master:19888

  • slaves

  • 从节点的信息

    node1
node2

  • yarn-site.xml

  • yarn.resourcemanager.hostname：指定yarn主节点

yarn.nodemanager.aux-services：NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序。默认值：“”

yarn.log-aggregation-enable：yarn日志聚合功能开关

yarn.log-aggregation.retain-seconds：日志保留时限，默认7天

    
        yarn.resourcemanager.hostname
        master
    

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
        yarn.log-aggregation-enable
        true
    

    
        yarn.log-aggregation.retain-seconds
        604800

4、分发Hadoop到node1、node2

cd /usr/local/soft/
scp -r hadoop-2.7.6/ node1:`pwd`
scp -r hadoop-2.7.6/ node2:`pwd`

5、格式化namenode（第一次启动的时候需要执行，以及每次修改核心配置文件后都需要）

hdfs namenode -format

image.png

6、启动Hadoop集群

start-all.sh

7、检查master、node1、node2上的进程

  • master：

    [root@master soft]# jps
2597 NameNode
2793 SecondaryNameNode
2953 ResourceManager
3215 Jps

  • node1：

    [root@node1 jdk1.8.0_171]# jps
11361 DataNode
11459 NodeManager
11559 Jps

  • node2：

    [root@node2 ~]# jps
11384 DataNode
11482 NodeManager
11582 Jps

8、访问HDFS的WEB界面

http://master:50070

image.png

9、访问YARN的WEB界面

http://master:8088

image.png

Hadoop中的常见的shell命令

1、如何将linux本地的数据上传到HDFS中呢？
hadoop fs -put 本地的文件 HDFS中的目录
hdfs dfs -put 本地的文件 HDFS中的目录

2、如何创建HDFS中的文件夹呢？
需求：想创建/shujia/bigdata17
hadoop fs -mkdir /shujia/bigdata17
hdfs dfs -mkdir /shujia/bigdata17

3、查看当前HDFS目录下的文件和文件夹
hadoop fs -ls /shujia/bigdata17
hdfs dfs -ls /shujia/bigdata17

4、将HDFS的文件下载到Linux本地中
hadoop fs -get HDFS中的文件目录 本地要存放文件的目录
hdfs dfs -get HDFS中的文件目录 本地要存放文件的目录

5、删除命令（如果垃圾回收站大小小于被删除文件的大小，直接被删除，不经过回收站）
hadoop fs -rm ....  # 仅删除文件
hadoop fs -rmr .... # 删除文件夹


6、移动文件
hadoop fs -mv 目标文件  目的地路径

7、HDFS内部复制文件
hadoop fs -cp [-p] ... ... # 如果想复制文件夹，加上-p参数

强制格式化集群（遇到问题的简单暴力的方法）

1、停止正在运行的集群

? stop-all.sh

2、删除所有节点hadoop根目录中的tmp文件夹

3、在主节点（master）中hadoop的根目录中的bin目录下，重新格式化HDFS

./hdfs namenode -format

4、启动集群

? start-all.sh

Hadoop

相关

04 Hadoop思想与原理，Hbase原理

zz手把手教你在腾讯云上搭建hadoop3.x伪集群的方法（参考该文建立伪集群）

Hadoop与大数据平台

hadoop安装教程

hadoop系列整理---PySpark

hadoop3.2.1下MapReduce操作出现错误: 找不到或无法加载主类org.apache.hadoop.mapred

为hadoop集群设置静态IP

hadoop-eclipse-plugin-2.x.x 插件编译

Apache Hadoop 完全分布式集群搭建

大数据学习之旅2——从零开始搭hadoop完全分布式集群

七、Hadoop3.3.1 HA 高可用集群QJM （基于Zookeeper，NameNode高可用+Yarn高可用）

5-Hadoop学习笔记2

标签