Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)


Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)

一、JDK的安装

安装位置都在同一位置(/usr/tools/jdk1.8.0_73)

jdk的安装在克隆三台机器的时候可以提前安装,通过scp使安装文件和环境配置(/etc/profile)都拷贝过去,并使三台机

器都通过(source /etc/profile)命令使之生效

下载JDK(本次安装使用的版本是jdk1.8.0_73)

解压JDK  tar -zxvf /usr/tools/jdk-7u72-linux-x64.gz

配置环境变量, 编辑profile文件:

vi /etc/profile

 

profile文件末尾添加以下代码:

export JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73

export JRE_HOME=$JAVA_HOME/jre

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

保存后,使刚才编辑的文件生效:

source /etc/profile

测试是否安装成功:java –version

二、安装Hadoop

1、解压hadoop-2.6.4.tar.gz安装包

sunshine主机上安装hadoop

安装位置自定,例如安装在/usr/hadoop目录下面

下载hadoop包,放在/usr/hadoop目录下,解压hadoop

tar -zxvf /usr/hadoop/hadoop-2.6.4.tar.gz

usr下面生成hadoop-2.6.4目录

2、配置环境变量:

vi /etc/profile

在末尾添加:

export HADOOP_HOME=/usr/ hadoop-2.6.4

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin(加上这个是为了使在下边启动hadoop时不一定必须在hadoop目录下执行命令)

保存后使新编辑的profile生效:

source /etc/profile

 3、配置Hadoop文件

需要配置的文件的位置为/hadoop-2.6.4/etc/hadoop,需要修改的有以下几个文件:

hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves

其中hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量:

各个文件的修改如下所示:

hadoop-env.sh中配置:(如果文件内容太多,可以在进入文件后一般模式下使用"/"加上想要查询的内容即可)

# The java implementation to use.

export JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73

(红色为新添加的内容,其他的代码是文件中原有的)

# The jsvc implementation to use. Jsvc is required to run secure datanodes

# that bind to privileged ports to provide authentication of data transfer

# protocol.  Jsvc is not required if SASL is configured for authentication of

# data transfer protocol using non-privileged ports.

#export JSVC_HOME=${JSVC_HOME}

yarn-env.sh中配置:(如果文件内容太多,可以在进入文件后一般模式下使用"/"加上想要查询的内容即可)

# User for YARN daemons

export HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

# resolve links - $0 may be a softlink

export YARN_CONF_DIR="${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}"

# some Java parameters

export JAVA_HOME=/opt/java/jdk1.7.0_72

(红色为新添加的内容,其他的代码是文件中原有的)

core-site.xml中配置:(如果文件内容太多,可以在进入文件后一般模式下使用"/"加上想要查询的内容即可)

  

    fs.defaultFS

    hdfs://master:9000

  

  

    io.file.buffer.size

    131072

  

  

    hadoop.tmp.dir

    file:/usr/temp

  

  

    hadoop.proxyuser.root.hosts

    *

  

  

    hadoop.proxyuser.root.groups

    *

  

hdfs-site.xml中配置:

 

  

    dfs.namenode.secondary.http-address

    master:9001

  

  

    dfs.namenode.name.dir

    file:/usr/dfs/name

  

  

    dfs.datanode.data.dir

    file:/usr/dfs/data

  

  

    dfs.replication

    2

  

  

    dfs.webhdfs.enabled

    true

  

  

    dfs.permissions

    false

  

  

    dfs.web.ugi

    supergroup

  

mapred-site.xml中配置:

(先将mapred-site.xml.template使用命令拷贝出一个命名为mapred-site.xml的文件,

使用cp  mapred-site.xml.template mapred-site.xml

  

    mapreduce.framework.name

    yarn

  

  

    mapreduce.jobhistory.address

    master:10020

  

  

    mapreduce.jobhistory.webapp.address

    master:19888

  

yarn-site.xml配置

slaves中配置:

sunshine

sunshineMin

sunshineMax

4、拷贝hadoop安装文件到子节点

主节点上执行:

scp -r /usr/hadoop-2.6.4 root@sunshineMin:/usr

scp -r /usr/hadoop-2.6.4 root@sunshineMax:/usr

5、拷贝profile到子节点

主节点上执行:

scp /etc/profile root@sunshineMin:/etc/

scp /etc/profile root@sunshineMax:/etc/

在两个子节点上分别使新的profile生效:

source /etc/profile

6、格式化主节点的NameNode

主节点上进入hadoop安装目录下

然后执行:

./bin/hadoop namenode –format

提示:successfully formatted表示格式化成功

7、启动hadoop

主节点上在hadoop目录下执行:

./sbin/start-all.sh

主节点上jps进程有:

NameNode

SecondaryNameNode

ResourceManager

个子节点上的jps进程有:

DataNode

NodeManager

如果这样表示hadoop集群配置成功!

如果对您有帮助,请给予支持!!!