Hadoop(2):Hadoop伪分布式模式安装测试
以下操作在 基础上操作。
一、配置集群
1、配置 HDFS
a)、配置 hadoop-end.sh
# cd /opt/module/hadoop-3.2.1/
将 hadoop-env.sh 中的 JAVA_HOME 的值修改为当前JDK的安装目录
获取当前 jdk 的安装路径
# echo $JAVA_HOME
修改 hadoop-env.sh
# vim etc/hadoop/hadoop-env.sh
修改 JAVA_HOME 路径
export JAVA_HOME=/opt/module/jdk1.8.0_171
b)、配置 core-site.xml
# vim etc/hadoop/core-site.xml
在 configuration 标签里面 插入 以下内容
fs.defaultFS hdfs://192.168.56.200:9000 hadoop.tmp.dir /opt/module/hadoop-3.2.1/data/tmp
c)、配置 hdfs-site.xml
# vim etc/hadoop/hdfs-site.xml
在 configuration 标签里面 插入 以下内容
dfs.replication
1
2、配置YARN
a)、配置 yarn-site.xml
查看hadoop classpath
# hadoop classpath
将回显的内容记录下来
在 configuration 标签里面 插入 以下内容
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
192.168.56.200
property
yarn.application.classpath
/opt/module/hadoop-3.2.1/etc/hadoop:/opt/module/hadoop-3.2.1/share/hadoop/common/lib/*:/opt/module/hadoop-3.2.1/share/hadoop/common/*:/opt/module/hadoop-3.2.1/share/hadoop/hdfs:/opt/module/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.2.1/share/hadoop/hdfs/*:/opt/module/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.2.1/share/hadoop/mapreduce/*:/opt/module/hadoop-3.2.1/share/hadoop/yarn:/opt/module/hadoop-3.2.1/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.2.1/share/hadoop/yarn/*
3、配置 MapReduce
a)、配置:mapred-site.xml
在 configuration 标签里面 插入 以下内容
mapreduce.framework.name
yarn
二、启动集群
格式化NameNode(第一次启动时格式化,以后就不要总格式化)
# bin/hdfs namenode -format
启动NameNode
# sbin/hadoop-daemon.sh start namenode
启动DataNode
# sbin/hadoop-daemon.sh start datanode
查看是否启动成功
# jps
web端查看HDFS文件系统
浏览器访问: http://192.168.56.200:9870/dfshealth.html#tab-overview
HDFS 成功启动。
启动ResourceManager
# sbin/yarn-daemon.sh start resourcemanager
启动NodeManager
# sbin/yarn-daemon.sh start nodemanager
web端查看yarn
浏览器访问: http://192.168.56.200:8088/cluster
YARN 启动成功。
三、测试 wordcount 案例
1、将 wcinput 文件夹上传至 hdfs 根目录
# hadoop fs -put wcinput /
浏览器查看 文件目录 可以看到新上传 wcinput 文件夹。
2、运行MapReduce程序
# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /wcinput /wcoutput
执行完成,刷新浏览器 可以看到执行输出的 wcoutput 文件夹
命令行查看结果
# hadoop fs -cat /wcoutput/*
至此Hadoop伪分布式模式安装完成