环境搭建

创建一个soft文件夹

【hadoop环境搭建】

第一步、首先解压所需要的包并创建软链接（jdk、hadoop）

第二步、修改etc下profile文件中的配置（jdk、hadoop的配置）

1.使用vi命令修改并使用source命令进行生效

第三步、测试环境变量（使用命令如下）

1. java -version
2. hadoop version

第四步、修改hadoop/etc/hadoop中xml配置文件

1. core-site.xml
2. hdfs-site.xml
3. hadoop-env.sh
4. yarn-site.xml

【spark环境搭建】

第一步、首先解压所需要的包并创建软链接（spark、scala）

第二步、修改etc下profile文件中的配置（spark、scala的配置）

第三步、测试环境变量

第四步、修改spark/conf中spark.env.sh和slaves配置文件

配置完成后使用scp命令将soft分发到slave1中

格式化namenode

启动hadoop和spark并使用jps验证如下：