VMware + Ubuntu18.04 搭建Hadoop集群环境的图文教程
https://www.jb51.net/article/209042.htm
0.VMware克隆虚拟机（准备工作，克隆3台虚拟机，一台master,两台node）
- 先在虚拟机中关闭系统
- 右键虚拟机，点击管理，选择克隆
3.点击下一步，选择完整克隆，选择路径即可
注：以上步骤是模拟了三台计算机
1.创建Hadoop用户(在master,node1,node2执行)
顺序执行以下命令即可
1.创建hadoop用户
sudo useradd -m hadoop -s /bin/bash
设置用户密码（输入两次）
sudo passwd hadoop
添加权限
sudo adduser hadoop sudo
切换到hadoop用户(这里要输入刚刚设置的hadoop密码)
suhadoop
运行截图展示(以master虚拟机为例)
2.更新apt下载源(在master,node1,node2执行)
sudo apt-get update
截图展示(以master为例)
3. 安装SSH、配置SSH免密登录 (在master,node1,node2执行)
1.安装SSH
sudo apt-get install openssh-server
2.配置SSH免密登录
ssh localhost exit cd ~/.ssh/ ssh-keygen -t rsa #一直按回车 cat ./id_rsa.pub >> ./authorized_keys
3.验证免密
ssh localhost exit cd ~/.ssh/ ssh-keygen -t rsa #一直按回车 cat ./id_rsa.pub >> ./authorized_keys
截图展示(以master为例)
4.安装Java环境 (在master,node1,node2执行)
1.下载 JDK 环境包
sudo apt-get install default-jre default-jdk
2.配置环境变量文件
vim ~/.bashrc
3.在文件首行加入
export JAVA_HOME=/usr/lib/jvm/default-java
4.让环境变量生效
source ~/.bashrc
5.验证
java -version
截图展示(以master为例)
5.修改主机名(在master,node1,node2执行)
1.将文件中原有的主机名删除，master中写入master,node1中写入node1,node2…（同理）
sudo vim /etc/hostname
重启三个服务器
reboot
重启成功后，再次连接会话，发现主机名改变了
截图展示(以node1为例)
6.修改IP映射(在master,node1,node2执行)
查看各个虚拟机的ip地址
ifconfig -a
如果有报错，则下载 net-tools ,然后再运行即可看到
sudo apt install net-tools
如下图，红色方框内的就是 本台虚拟机的 ip 地址
3台虚拟机中都需要在 hosts 文件中加入对方的ip地址
sudo vim /etc/hosts
以master为例截图展示
7.SSH免密登录其他节点（在master上执行）
在Master上执行
cd ~/.ssh rm ./id_rsa* # 删除之前生成的公匙（如果有） ssh-keygen -t rsa # 一直按回车就可以 cat ./id_rsa.pub >> ./authorized_keys scp ~/.ssh/id_rsa.pub hadoop@node1:/home/hadoop/ scp ~/.ssh/id_rsa.pub hadoop@node2:/home/hadoop/
在node1，node2都执行
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys rm ~/id_rsa.pub # 用完就删掉
验证免密登录
ssh node1
exit
ssh node2
exit
以master为例截图展示
8.安装hadoop3.2.3（在master中执行）
有些镜像的下载网址失效了，这里贴出官网的下载地址。
下载网址：https://www.apache.org/dyn/closer.cgi/hadoop/common/
注：官网下载速度比较慢，通过清华镜像下载的
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.3/
下载好，之后通过VMware-Tools上传到master的/home/hadoop中
注：通过设置共享盘解决上传路径的问题
下载好，之后通过VMware-Tools上传到master的/home/hadoop中
解压
cd /home/hadoop sudo tar -zxf hadoop-3.2.3.tar.gz -C /usr/local #解压 cd /usr/local/ sudo mv ./hadoop-3.2.3/ ./hadoop # 将文件夹名改为hadoop sudo chown -R hadoop ./hadoop # 修改文件权限
验证
cd /usr/local/hadoop
./bin/hadoop version
9.配置hadoop环境(这一步需要很仔细)
配置环境变量
vim ~/.bashrc
在首行中写入
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使得配置生效
source ~/.bashrc
创建文件目录（为后面的xml做准备）
cd /usr/local/hadoop mkdir dfs cd dfs mkdir name data tmp cd /usr/local/hadoop mkdir tmp
配置hadoop的java环境变量
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
vim $HADOOP_HOME/etc/hadoop/yarn-env.sh
两个的首行都写入
export JAVA_HOME=/usr/lib/jvm/default-java
(master中)配置nodes
cd /usr/local/hadoop/etc/hadoop
删除掉原有的localhost,因为我们有2个node,就把这2个的名字写入
vim workers
node1
node2
配置 core-site.xml
vim core-site.xml
因为我们只有一个namenode,所以用fs.default.name，不采用fs.defalutFs
其次确保/usr/local/hadoop/tmp这个目录存在
fs.default.name hdfs://Master:9000 hadoop.tmp.dir /usr/local/hadoop/tmp
配置 hdfs-site.xml
vim hdfs-site.xml
dfs.namenode.secondary.http-address确保端口不要和core-site.xml中端口一致导致占用
确保/usr/local/hadoop/dfs/name :/usr/local/hadoop/dfs/data 存在
因为我们只有2个node，所以dfs.replication设置为2
dfs.namenode.secondary.http-address Master:9001 dfs.namenode.name.dir file:/usr/local/hadoop/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/dfs/data dfs.replication 2
配置mapred-site.xml
vim mapred-site.xml
mapreduce.framework.name yarn
配置 yarn-site.xml
vim yarn-site.xml
yarn.resourcemanager.hostname Master yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.vmem-check-enabled false
将hadoop压缩
cd /usr/local tar -zcf ~/hadoop.master.tar.gz ./hadoop #压缩 cd ~
复制到node1中
scp ./hadoop.master.tar.gz node1:/home/hadoop
复制到node2中
scp ./hadoop.master.tar.gz node2:/home/hadoop
在node1、node2上执行
解压
sudo rm -r /usr/local/hadoop # 删掉旧的（如果存在） sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local #解压 sudo chown -R hadoop /usr/local/hadoop #修改权限
首次启动需要先在 Master 节点执行 NameNode 的格式化，之后不需要
hdfs namenode -format
（注意:如果需要重新格式化 NameNode ，才需要先将原来 NameNode 和 DataNode 下的文件全部删除！！！！！！！！！）
#看上面的文字，不要直接复制了 rm -rf $HADOOP_HOME/dfs/data/* rm -rf $HADOOP_HOME/dfs/name/*
10.启动 （在master上执行）
start-all.sh
mr-jobhistory-daemon.sh start historyserver
master中，出现Warning不影响
jps
运行截图展示
11.关闭hadoop集群（在master上执行）
stop-all.sh
mr-jobhistory-daemon.sh stop historyserver
运行截图展示
注：搭建过程中遇到的两个小问题
1.ubuntu 解决“无法获得锁 /var/lib/dpkg/lock -open （11：资源暂时不可用）”的方法
在ubuntu系统的termial下，用apt-get install 安装软件的时候，如果在未完成下载的情况下将terminal close。此时 apt-get进程可能没有结束。结果，如果再次运行apt-get install 命令安装如今，可能会发生下面的提示：
无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)
无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它？
强制解锁,命令
sudo rm /var/cache/apt/archives/lock
sudo rm /var/lib/dpkg/lock
2.yum install 没有已启用的仓库
ubuntu默认软件包管理器不是yum，而是dpkg，安装软件时用apt-get你说的网上常见法解决方法，命令改为代码:sudo apt-get install net-tools，这样就安装好了。