Hadoop(2):Hadoop伪分布式模式安装测试


以下操作在    基础上操作。

一、配置集群

1、配置 HDFS

a)、配置 hadoop-end.sh

  # cd /opt/module/hadoop-3.2.1/    

  将 hadoop-env.sh 中的 JAVA_HOME 的值修改为当前JDK的安装目录

  获取当前 jdk 的安装路径

  # echo $JAVA_HOME   

   修改 hadoop-env.sh 

  # vim etc/hadoop/hadoop-env.sh   

  修改 JAVA_HOME 路径

export JAVA_HOME=/opt/module/jdk1.8.0_171

 b)、配置  core-site.xml

  # vim etc/hadoop/core-site.xml   

在 configuration 标签里面 插入 以下内容



    fs.defaultFS
    hdfs://192.168.56.200:9000




    hadoop.tmp.dir
    /opt/module/hadoop-3.2.1/data/tmp

 c)、配置  hdfs-site.xml

# vim etc/hadoop/hdfs-site.xml    

在 configuration 标签里面 插入 以下内容



    dfs.replication
    1

2、配置YARN

a)、配置 yarn-site.xml

查看hadoop classpath 

# hadoop classpath   

将回显的内容记录下来

 在 configuration 标签里面 插入 以下内容



     yarn.nodemanager.aux-services
     mapreduce_shuffle




    yarn.resourcemanager.hostname
    192.168.56.200
property



    yarn.application.classpath
    /opt/module/hadoop-3.2.1/etc/hadoop:/opt/module/hadoop-3.2.1/share/hadoop/common/lib/*:/opt/module/hadoop-3.2.1/share/hadoop/common/*:/opt/module/hadoop-3.2.1/share/hadoop/hdfs:/opt/module/hadoop-3.2.1/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.2.1/share/hadoop/hdfs/*:/opt/module/hadoop-3.2.1/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.2.1/share/hadoop/mapreduce/*:/opt/module/hadoop-3.2.1/share/hadoop/yarn:/opt/module/hadoop-3.2.1/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.2.1/share/hadoop/yarn/*

3、配置 MapReduce

a)、配置:mapred-site.xml

在 configuration 标签里面 插入 以下内容



    mapreduce.framework.name
    yarn

二、启动集群

格式化NameNode(第一次启动时格式化,以后就不要总格式化)

#  bin/hdfs namenode -format   

启动NameNode

# sbin/hadoop-daemon.sh start namenode   

启动DataNode

#  sbin/hadoop-daemon.sh start datanode   

查看是否启动成功

# jps  

web端查看HDFS文件系统

浏览器访问: http://192.168.56.200:9870/dfshealth.html#tab-overview

 HDFS 成功启动。

启动ResourceManager

# sbin/yarn-daemon.sh start resourcemanager   

启动NodeManager

# sbin/yarn-daemon.sh start nodemanager  

web端查看yarn

浏览器访问: http://192.168.56.200:8088/cluster

 YARN 启动成功。

三、测试  wordcount 案例

1、将 wcinput 文件夹上传至 hdfs 根目录

# hadoop fs -put wcinput /    

 浏览器查看 文件目录 可以看到新上传 wcinput 文件夹。

2、运行MapReduce程序

# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /wcinput /wcoutput   

执行完成,刷新浏览器 可以看到执行输出的 wcoutput 文件夹

 命令行查看结果

# hadoop fs -cat /wcoutput/*    

 至此Hadoop伪分布式模式安装完成