基于虚拟机CentOS7搭建hadoop集群

第一部分准备工作

1 安装虚拟机

Windows环境下安装Vmware WorkStation；

Mac intel环境下安装Vmware Fushion；

Mac M1环境下安装Pararell Desktop；

具体见参考链接1。

2 下载centos

（提供下载地址）

3 虚拟机安装centos

（大部分选择默认选项即可，缺乏图形说明）

3.1 安装过程

1、软件选择（按需安装即可）：开发及生成工作站->附加开发、DNS名称服务器、开发工具、Emacs、FTP服务器、图形生成工具、主框架访问、MariaDB数据库服务器、网页用Perl、平台开发、Python

2、安装位置：自动配置分区

3、网络设置：桥接模式

4、删除打印机设备（解决可能出现的蓝屏问题）

3.2 网络配置

设置静态ip：

su root		//切换到root用户
dhclient	//随机分配一个可用ip
ifconfig	//查看ip地址，ens33网卡
vi /etc/sysconfig/network-scripts/ifcfg-ens33	//配置网卡
systemctl restart network.service	//重启网卡

//ifcfg-ens33修改点如下
BOOTPROTO=static
ONBOOT=yes
IPADDR=*.*.*.*
NETMASK=255.255.255.0
GATAWAY=*.*.*.1
DNS1=119.29.29.29

3.3 连接性测试

1、网络测试方法：ping宿主机、ping外网、ping其余节点

2、使用SecureCRT连接虚拟机，使用WinSCP/Transmit交互文件

4 centos安装配置jdk

第二部分多节点Linux环境打造

1 虚拟机克隆

2 网络配置

同上，到此步如果多节点互相能ping通，则多节点Linux环境打造完成。下述操作属于延伸操作。

3 hostname修改

3.1 修改hostname

hostname	//查看机器名称
hostname master	//将主节点名称改成master，其余节点在对应机器上可改成slave，slave1...

3.2 修改/etc/hosts

三台机器均需要修改

vi /etc/hosts

ip1 master	//ip是各自生成的ip
ip2 slave
ip3 slave1

3.3 检查是否能ping通

ping -c 3 slave
ping -c 3 slave1

4 密钥配置

4.1 生成密钥

三台机器均需要生成

ssh-keygen -t rsa -P ''
//查看生成的文件，路径下有id_rsa,id_rsa.pub
ls /root/.ssh	
//创建authorized_keys文件
touch /root/.ssh/authorized_keys
//将三台机器的id_rsa.pub保存至authorized_keys中

4.2 测试ssh无密码登陆

ssh slave
ssh slave1
exit

第三部分 hadoop集群配置

1 下载hadoop

（提供下载地址）

2 安装hadoop

mkdir /usr/hadooop
cd /usr/hadoop
tar -zxvf hadoop-2.7.3
//新建文件夹
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data

3 hadoop配置

3.1 修改core-site.xml

仅在master上修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

 
	 	hadoop.tmp.dir
	 	/root/hadoop/tmp
	 	Abase for other temporary directories.
 
 
 		fs.default.name
 		hdfs://master:9000

3.2 修改hadoop-env.sh

三台机器均需要修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_161

3.3 修改hdfs-site.xml

仅在master上修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml


   dfs.name.dir
   /root/hadoop/dfs/name
   Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.


   dfs.data.dir
   /root/hadoop/dfs/data
   Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.


   dfs.replication
   2


      dfs.permissions
      true
      need not permissions

3.4 修改mapred-site.xml

仅在master上修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template


		mapred.job.tracker
		master:49001


    mapred.local.dir
    /root/hadoop/var


    mapreduce.framework.name
    yarn

3.5 修改slaves

仅在master上修改

路径: /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves

slave
slave1

3.6 修改yarn-site.xml

仅在master上修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml


        yarn.resourcemanager.hostname
        master
   
   
        The address of the applications manager interface in the RM.
        yarn.resourcemanager.address
        ${yarn.resourcemanager.hostname}:8032
   
   
        The address of the scheduler interface.
        yarn.resourcemanager.scheduler.address
        ${yarn.resourcemanager.hostname}:8030
   
   
        The http address of the RM web application.
        yarn.resourcemanager.webapp.address
        ${yarn.resourcemanager.hostname}:8088
   
   
        The https adddress of the RM web application.
        yarn.resourcemanager.webapp.https.address
        ${yarn.resourcemanager.hostname}:8090
   
   
        yarn.resourcemanager.resource-tracker.address
        ${yarn.resourcemanager.hostname}:8031
   
   
        The address of the RM admin interface.
        yarn.resourcemanager.admin.address
        ${yarn.resourcemanager.hostname}:8033
   
   
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   
   
        yarn.scheduler.maximum-allocation-mb
        2048
        每个节点可用内存,单位MB,默认8182MB
   
   
        yarn.nodemanager.vmem-pmem-ratio
        2.1
   
   
        yarn.nodemanager.resource.memory-mb
        2048

 
   
        yarn.nodemanager.vmem-check-enabled
        false

第四部分启动hadoop

1 初始化hadoop

进入到master这台机器的/usr/hadoop/hadoop-2.7.3/bin目录，

cd /usr/hadoop/hadoop-2.7.3/bin 切换到指定目录

./hadoop namenode -format 执行命令

2 启动hadoop

进入到master这台机器的/usr/hadoop/hadoop-2.7.3/sbin目录，

cd /usr/hadoop/hadoop-2.7.3/sbin 切换到指定目录

./start-all.sh 执行命令

3 测试hadoop

关闭防火墙 systemctl stop firewalls.service

在本地浏览器里访问如下地址： http://192.168.70.130:50070/ 自动跳转到了overview页面

在本地浏览器里访问如下地址： http://192.168.70.130:8088/ 自动跳转到了cluster页面

参考链接：

1、基于虚拟机centos7搭建Hadoop集群_二黑的博客-CSDN博客

2、建议人手一套：个人专属多节点Linux环境打造，Linux操作系统学习实验环境安装配置视频教程_哔哩哔哩_bilibili

大数据

基于虚拟机CentOS7搭建hadoop集群