spark环境搭建

1. 解压：tar -zxvf spark-........ -C /usr/local/src

2. cd /usr/local/src 执行： mv spark-..... spark

3. vim /root/.bahs_profile (改完记得source)

   export SPARK_HOEM=/usr/local/src/spark
   export PATH=$PATH:$SPARK_HOME:/bin:$SPATK_HOME/sbin
   

4. cd /usr/local/src/spark/conf 并执行：

   • cp spark-env.sh.template spark-env.sh

   • vim spark-env.sh

     export SPARK_LOCAL_IP=192.168.233.110  #本机ip,每一台都不一样
     export JAVA_HOME=/usr/local/src/jdk
     export SPARK_MASTER_HOST=master  #主机名
     export SPARK_MASTER_PORT=7707
     export SPARK_WORKER_CORES=1
     export SPARK_WORKER_MEMORY=1g
     export SPARK_CONF_DIR=/usr/local/src/spark/conf
     

   • cp slaves.template slaves 并 vim slaves (如果没有从节点可忽略此步骤)

     该文件中配置从节点的主机名，如：hadoop02 ， node02

     hadoop02
     hadoop03