目录

• 前言
• 一、配置主机名与网络
• 二、配置免密登录
• 三、安装JDK
• 四、安装Hadoop
  • 修改hadoop-env.sh配置文件
  • 修改core-site.xml配置文件
  • 修改hdfs-site.xml配置文件
  • 修改yarn-site.xml配置文件
  • 修改mapred-site.xml.template配置文件
  • 修改slaves配置文件
  • 文件分发拷贝
• 五、从节点操作
• 六、启动集群
• 声明

前言

集群的搭建需要准备三台虚拟机

主机名称	IP地址
hadoop001	192.168.131.137
hadoop002	192.168.131.138
hadoop003	192.168.131.139

• Hadoop-2.8.5：链接：https://pan.baidu.com/s/128xtR4sfsiup8oJHerP75A 提取码：384h
• jdk-7u75-linux-x64.tar：链接：https://pan.baidu.com/s/1BDMM8c-6fJsU1vHlxc7OEw 提取码：f12p

一、配置主机名与网络

以下操作 三台虚拟机 都需要进行操作

切换到root权限

su root

修改主机名称

hostnamectl set-hostname hadoop001

修改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

做出如下修改

TYPE=Ethernet
PROXY_METHOD=static
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=fa65cffc-4ad5-496b-a3bd-0c1bd3bbd600
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.131.137
GATEWAY=192.168.131.2
NETWORK=255.255.255.0
DNS1=192.168.131.2

注意 IPADDR 的修改（三台虚拟机对应各自IP）

重启网卡，测试网络

service network restart

重启电脑

reboot

添加映射

vim /etc/hosts

在另外 两台虚拟机 重复执行上述操作

二、配置免密登录

以下操作 三台虚拟机 都需要进行操作

ssh-keygen

输入ssh-keygen后，按照命令提示敲击“Enter”，直至命令结束

拷贝公钥

ssh-copy-id hadoop001

ssh-copy-id hadoop002

ssh-copy-id hadoop003

测试免密登录

在另外 两台虚拟机 重复执行上述操作

三、安装JDK

创建目录

mkdir /data

上传安装包

通过xshell连接hadoop001虚拟机

连接xshell后，切换至data目录，然后将jdk-7u75-linux-x64.tar.gz拖拽至xshell黑框里即可上传

cd /data

解压安装包

tar -zxvf /data/jdk-7u75-linux-x64.tar.gz  -C /opt/

重新命名解压后的文件夹

mv /opt/jdk1.7.0_75 /opt/java

配置环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#java
export JAVA_HOME=/opt/java  
export PATH=$JAVA_HOME/bin:$PATH

保存并且退出，然后刷新环境变量

source ~/.bashrc

检测环境变量配置是否生效

java

四、安装Hadoop

上传安装包

通过xshell连接hadoop001虚拟机

连接xshell后，切换至data目录，然后将hadoop-2.8.5.tar.gz拖拽至xshell黑框里即可上传

解压安装包

tar -zxvf  /data/hadoop-2.8.5.tar.gz -C /opt/

重新命名解压后的文件夹

mv /opt/hadoop-2.8.5 /opt/hadoop

配置环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#hadoop
export HADOOP_HOME=/opt/hadoop  
export PATH=$HADOOP_HOME/bin:$PATH

保存并且退出，然后刷新环境变量

source ~/.bashrc

检测环境变量配置是否生效

hadoop version

修改hadoop-env.sh配置文件

vim  /opt/hadoop/etc/hadoop/hadoop-env.sh

修改core-site.xml配置文件

创建Hadoop临时文件存储文件夹

mkdir -p /data/tmp/hadoop/tmp

修改配置文件

vim  /opt/hadoop/etc/hadoop/core-site.xml

添加如下文本

  
    hadoop.tmp.dir  
    /data/tmp/hadoop/tmp  
  
  
    fs.defaultFS  
    hdfs://hadoop001:9000/  
    NameNode URI  

修改hdfs-site.xml配置文件

vim  /opt/hadoop/etc/hadoop/hdfs-site.xml

添加如下文本

  
    dfs.namenode.name.dir  
    /data/tmp/hadoop/hdfs/name  
  
  
    dfs.datanode.data.dir  
    /data/tmp/hadoop/hdfs/data  
  
  
     dfs.replication  
     1  
  
  
     dfs.permissions  
     false  
  

修改yarn-site.xml配置文件

vim  /opt/hadoop/etc/hadoop/yarn-site.xml

添加如下文本

  
    yarn.nodemanager.aux-services  
    mapreduce_shuffle  
  

修改mapred-site.xml.template配置文件

修改文件名

mv /opt/hadoop/etc/hadoop/mapred-site.xml.template  /opt/hadoop/etc/hadoop/mapred-site.xml

修改配置文件

vim  /opt/hadoop/etc/hadoop/mapred-site.xml

添加如下文本

  
    mapreduce.framework.name  
    yarn  
  

修改slaves配置文件

vim  /opt/hadoop/etc/hadoop/slaves

文件分发拷贝

scp -r /opt/java/ /opt/hadoop/ hadoop002:/tmp/
scp -r /opt/java/ /opt/hadoop/ hadoop003:/tmp/

五、从节点操作

以下操作 只需在另两台台虚拟机（hadoop002、hadoop003） 进行操作

移动文件夹

mv /tmp/java /opt/
mv /tmp/hadoop /opt/ 

创建数据文件夹

mkdir /data

配置Hadoop与JDK环境变量

vim ~/.bashrc

在环境变量后加上如下文本

#java
export JAVA_HOME=/opt/java  
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME=/opt/hadoop  
export PATH=$HADOOP_HOME/bin:$PATH

保存并退出，然后刷新环境变量

source ~/.bashrc

查看版本安装

在另外 一台虚拟机（hadoop003） 重复执行上述操作

六、启动集群

切换至Hadoop安装目录

cd /opt/hadoop/sbin

格式化分布式文件系统

/opt/hadoop/bin/hadoop namenode -format 

启动Hadoop，只需要在主节点（hadoop001）执行操作

./start-all.sh

查看启动进程

jps

主节点

从节点

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld.service

查看防火墙状态

firewall-cmd --state

查看Web界面

192.168.131.137:50070（主节点IP:50070）

声明

本文档仅供学习交流使用，不可商用。

部分操作命令以及安装方式整理来源于网络，若有侵权请及时联系删除。