Centos8系统搭建hadoop2.7.3伪分布式环境

存一下原博地址：https://blog.51cto.com/u_12749768/2739971

记录搭建hadoop2.7伪分布环境时遇到的问题和答案：

1，单机模式和伪分布模式、全分布模式的区别：

单机模式：是Hadoop安装后的默认模式。这种模式在一台单机上运行，没有用HDFS，也不加载任何hadoop的守护进程，该模式主要用于开发调试MapReduce程序的应用逻辑。

伪分布模式：也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点。伪分布模式在“单节点集群”上运行hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式的基础上增加了代码的调试功能，允许你检查内存使用情况、HDFS输入输出，以及其他的守护进程交互。

全分布模式：hadoop守护进程运行在一个机器上。

2，搭建hadoop伪分布环境需要修改hadoop2.7/etc/hadoop下三个配置文件，分别是

vim hadoop-env.sh　　（配置jdk路径）

export JAVA_HOME="/usr/java/jdk1.8.0_144"

vim hdfs-site.xml　　（修改数据副本数）

    
        dfs.replication
        1
    

vim core-site.xml　　

（fs.defaultFS：描述集群中NameNode结点的URI(包括协议、主机名称、端口号)、

hadoop.tmp.dir：是Hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认在/tmp/{$suer}下面，但是在/tmp路径的存储是不安全的，因为Linux一次重启，文件就可能被删除，所以这里要重新配置）

    
        fs.defaultFS
        hdfs://localhost:9000
    
    
        hadoop.tmp.dir
        /usr/hadoop/hadoop/hadoop-tmp