Hadoop安装及配置

1、将hadoop-2.7.5.tar.gz上传到/opt目录下并解压缩到/usr目录下

tar -zxvf hadoop-2.7.5.tar.gz -C /usr
#修改文件名
mv hadoop-2.7.5 hadoop

2、修改配置文件

vim /etc/profile
//添加以下内容
export HADOOP_HOME=/usr/hadoop
export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop
PATH=$JAVA_HOME/bin:$SCALA_HOME/bin/:$SPARK_HOME/bin:$ZEPPELIN_HOME/bin:$HADOOP_HOME/sbin:$PATH

//保存配置
source /etc/profile

3、编辑hadoop/etc/hadoop/hadoop-env.sh文件，修改JAVA_HOME值对应到jdk安装目录

export JAVA_HOME=/usr/opt/jdk1.8.0_301

下面是配置Hadoop，在/opt/hadoop/etc/hadoop子目录下：

4、配置核心组件文件core-site.xml：

　　
　　　　fs.defaultFS　　　//配置节点地址和端口号
　　　　hdfs://192.168.71.129:9000　　//格式必须是host：port形式
　　
　　
　　　　hadoop.tmp.dir　　//Hadoop临时目录用来存放临时文件
　　　　/usr/hadoop/hadoopdata　　　//该目录需要预先手工创建
　　
　　
　　　　hadoop.proxyuser.spark.hosts
　　　　*
　　
　　
　　　　hadoop.proxyuser.spark.groups
　　　　*
　　

5、配置文件系统hdfs-site.xml

    
        dfs.namenode.secondary.http-address
        192.168.71.129:9001  
      
      
        dfs.namenode.name.dir  
        file:/usr/hadoop/hdfs/name                   
      
      
        dfs.datanode.data.dir
        file:/usr/hadoop/hdfs/data                 
    
    
        dfs.replication
        3
    
    
        dfs.webhdfs.enabled
        true
    

6、配置Yarn文件yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    
    
        yarn.resourcemanager.address
        192.168.71.129:8032
    
    
        yarn.resourcemanager.scheduler.address
        192.168.71.129:8030
    
    
        yarn.resourcemanager.resource-tracker.address
        192.168.71.129:8035
    
    
        yarn.resourcemanager.admin.address
        192.168.71.129:8033
    
    
        yarn.resourcemanager.webapp.address
        192.168.71.129:8088
    

7、配置MapReduce计算框架文件mapred-site.xml

    
        mapreduce.framework.name
        yarn  
      
      
        mapreduce.jobhistory.address  
        192.168.71.129:10020  
      
      
        mapreduce.jobhistory.webapp.address
        192.168.71.129:19888
    

8、若做集群还需要配置slaves文件vim slaves

//根据从机ip配置，例如：已经安装了slave0和slave1，并且计划将它们全部投入Hadoop集群运行。
192.168.71.130
192.168.71.131

注意：删除slaves文件中原来localhost那一行！

9、复制主机master上的Hadoop到slave节点

scp -r /opt/hadoop root@slave0:/opt
scp -r /opt/hadoop root@slave1:/opt

10、创建Hadoop数据目录

mkdir /usr/hadoop/hadoopdata

11、启动/关闭Hadoop

cd /opt/hadoop/sbin

//启动
start-all.sh
//关闭
stop-all.sh