spark搭建伪分布式环境

1.一台Linux虚拟机 CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 2.spark安装包 下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-hadoop2.7.tgz 要根据自己机器中的hadoop版本选择对应的spark版本

---

(1) 把安装包上传到服务器并解压 [root@repo soft]# tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C /opt/

[root@repo soft]# cd /opt [root@repo opt]# mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0

(2) 修改spark-env.sh配置文件

把SPARK_HOME/conf/下的spark-env.sh.template文件复制为spark-env.sh

[root@repo opt]# cd spark-2.2.0/conf/ [root@repo conf]# cp spark-env.sh.template spark-env.sh

修改spark-env.sh配置文件，添加如下内容

[root@repo conf]# vim spark-env.sh

配置JAVA_HOME，一般来说，不配置也可以，但是可能会出现问题，还是配上吧

export JAVA_HOME=/usr/local/java/jdk1.8.0_73

一般来说，spark任务有很大可能性需要去HDFS上读取文件，所以配置上

如果说你的spark就读取本地文件，也不需要yarn管理，不用配

export HADOOP_CONF_DIR=/opt/hadoop-2.7.4/etc/hadoop

设置Master的主机名

export SPARK_MASTER_HOST=repo

提交Application的端口，默认就是这个，万一要改呢，改这里

export SPARK_MASTER_PORT=7077

每一个Worker最多可以使用的cpu core的个数，我虚拟机就一个…

真实服务器如果有32个，你可以设置为32个

export SPARK_WORKER_CORES=1

每一个Worker最多可以使用的内存，我的虚拟机就2g

真实服务器如果有128G，你可以设置为100G

export SPARK_WORKER_MEMORY=2g

(3) 修改slaves配置文件 [root@repo conf]# cp slaves.template slaves [root@repo conf]# vim slaves

里面的内容原来为localhost，改为repo

repo

伪分布式就一台机器，用localhost也可以

但我们毕竟搭建的是伪分布式集群，注意，是集群

改成repo心里可能更相信它是一个分布式集群

(4) 配置SPARK_HOME环境变量 [root@repo conf]# vim /etc/profile

export SPARK_HOME=/opt/spark-2.2.0 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

[root@repo conf]# source /etc/profile

(5) 启动spark伪分布式集群 注意： • 上一步配置了SPARK_HOME，所以在任意位置使用start-all.sh就可以启动spark集群 • 但是，如果你也配置了HADOOP_HOME，在HADOOP_HOME/sbin目录下，也有start-all.sh和stop-all.sh这两个命令 • 那么当你执行start-all.sh这个命令，可能会出错，尤其是执行stop-all.sh命令，如果你要停止spark集群，系统给你关闭了hadoop集群，不说了… 解决办法：

启动或关闭spark集群，即使你配置了环境变量，还是进入spark的sbin目录下去操作吧，那还配SPARK_HOME干嘛？我们可以在任意位置执行提交spark任务的命令。

[root@repo conf]# cd /opt/spark-2.2.0/sbin/

[root@repo sbin]# ./start-all.sh

把SPARK_HOME/sbin/目录下的start-all.sh和stop-all.sh两命令修改一下名字，比如分别修改为start-spark-all.sh和stop-spark-all.sh，然后再执行，就不会与hadoop的命令冲突了 [root@repo sbin]# mv start-all.sh start-spark-all.sh [root@repo sbin]# mv stop-all.sh stop-spark-all.sh [root@repo sbin]# start-spark-all.sh 说明： • 如果你的配置文件中配置了HADOOP_CONF_DIR，在启动spark集群之前，先启动hadoop集群 (6) 验证 [root@repo sbin]# jps 8576 Jps 8449 Master 8504 Worker

访问WEB页面 spark伪分布式集群搭建成功！