Spark下载 安装scala 下载scala安装包，https://www.scala-lang.org/download/选择符合要求的版本进行下载，使用客户端工具上传到服务器上。解压：
# tar -zxvf scala-2.13.0-RC2.tgz -C /usr/local/ 再次修改/etc/ bashrc件，添加如下内容： export SCALA_HOME=/usr/local/scala-2.13.0-RC2 export PATH=$PATH:$SCALA_HOME/bin #source /etc/ bashrc // 让其立即生效 #scala -version //查看scala是否安装完成输入：tar -zxvf scala-2.13.0-RC2.tgz -C /usr/local/ 进行解压 再次修改/etc/ bashrc件，添加如下内容：
export SCALA_HOME=/usr/local/scala-2.13.0-RC2 export PATH=$PATH:$SCALA_HOME/bin#source /etc/ bashrc // 让其立即生效 #scala -version //查看scala是否安装完成
下载之后上传到/root/down目录下 解压：tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /usr/local/ 重命名：mv spark-2.4.3-bin-hadoop2.7 spark 此时，根目录为：/usr/local/spark
配置环境变量 vi /etc/bashrc 在最后边加入
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin使配置文件生效 source /etc/bashrc
进入以下目录，修改配置文件 cd /usr/local/spark/conf cp spark-env.sh.template spark-env.sh vi spark-env.sh 在最后加入
export JAVA_HOME=/usr/local/java/jdk1.8.0_201 export SCALA_HOME=/usr/local/scala-2.13.0-RC2 export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.7 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/Hadoop export SPARK_MASTER_IP=master export SPARK_WORKER_MEMORY=1g export SPARK_WORDER_INSTANCES=1 export SPARK_WORKER_CORES=1变量说明
JAVA_HOME：Java安装目录SCALA_HOME：Scala安装目录HADOOP_HOME：hadoop安装目录HADOOP_CONF_DIR：hadoop集群的配置文件的目录SPARK_MASTER_IP：spark集群的Master节点的ip地址SPARK_WORKER_MEMORY：每个worker节点能够最大分配给exectors的内存大小SPARK_WORKER_CORES：每个worker节点所占有的CPU核数目SPARK_WORKER_INSTANCES：每台机器上开启的worker节点的数目#进入conf目录下，把slaves.template拷贝一份改名为slaves #cp slaves.template slaves vi slaves 删除localhost 添加：
slave1将spark 目录发送给salve1
scp -r /usr/local/spark/ slave1:/usr/local/spark/启动spark 进入spark目录 cd /usr/local/spark 输入：sbin/start-all.sh 再：jps 查看进程 然后：bin/spark-shell 退出spark操作是：:quit
测试Spark集群： 用浏览器打开master节点上的spark集群，地址：http://192.168.7.130:8080/
同时，因为shell在运行，我们也可以通过：http://192.168.7.130:4040/jobs/ Hadoop全进程： 退出的正确操作是：
