【转载】Spark集群环境搭建——部署Spark集群

转在doublexi:

在前面我们已经准备了三台服务器，并做好初始化，配置好jdk与免密登录等。并且已经安装好了hadoop集群。

如果还没有配置好的，参考我前面两篇博客：

Spark集群环境搭建——服务器环境初始化：https://www.cnblogs.com/doublexi/p/15623436.html

Spark集群环境搭建——Hadoop集群环境搭建：https://www.cnblogs.com/doublexi/p/15624246.html

集群规划：

搭建Spark集群

上面默认是用standalone模式启动的服务，如果想要把资源调度交给yarn来做，则需要配置为yarn模式：

参考：http://spark.apache.org/docs/latest/running-on-yarn.html

需要启动的服务：hdfs服务、yarn服务

需要关闭 Standalone 对应的服务(即集群中的Master、Worker进程)，一山不容二虎！

在Yarn模式中，Spark应用程序有两种运行模式：

• yarn-client。Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出
• yarn-cluster。Driver程序运行在由RM启动的 AppMaster中，适用于生产环境

二者的主要区别：Driver在哪里

1、关闭 Standalon 模式下对应的服务；开启 hdfs、yarn、historyserver 服务

2、修改 yarn-site.xml 配置

在 $HADOOP_HOME/etc/hadoop/yarn-site.xml 中增加，分发到集群，重启 yarn 服务

备注：

yarn.nodemanager.pmem-check-enabled。是否启动一个线程检查每个任务正使用的物理内存量，如果任务

超出分配值，则直接将其杀掉，默认是true

yarn.nodemanager.vmem-check-enabled。是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务

超出分配值，则直接将其杀掉，默认是true

3、修改配置，分发到集群

# 将 $SPARK_HOME/jars 下的jar包上传到hdfs

4、测试：

记得，先把Master与worker进程停掉，否则会走standalone模式

在提取App节点上可以看见：SparkSubmit、YarnCoarseGrainedExecutorBackend

在集群的其他节点上可以看见：YarnCoarseGrainedExecutorBackend

在提取App节点上可以看见：程序计算的结果（即可以看见计算返回的结果）

在提取App节点上可以看见：SparkSubmit

在集群的其他节点上可以看见：YarnCoarseGrainedExecutorBackend、ApplicationMaster(Driver运行在此)

在提取App节点上看不见最终的结果

整合HistoryServer服务

前提：Hadoop的 HDFS、Yarn、HistoryServer 正常；Spark historyserver服务正常；

Hadoop：JobHistoryServer

Spark：HistoryServer

修改 spark-defaults.conf，并分发到集群

发送到其他两台机器：

重启/启动 spark 历史服务

测试：

登录yarn的地址：http://192.168.90.172:8088/

点击history会自动跳转到spark的history页面：

至此，spark集群搭建完成。