1、下载
在Windows下下载Scala和Spark 官网下载安装Spark：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz spark-2.4.2-bin-hadoop2.7.tgz 官网下载安装Scala： https://www.scala-lang.org/download/ scala-2.12.8.tgz 2、传输
将压缩包从Windows传输到Linux当前目录下: put F:\spark\scala-2.12.8.tgz put F:\spark\spark-2.4.3-bin-hadoop2.7.tgz
3、解压
tar -zxvf scala-2.12.8.tgz -C /home/wang tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz -C /home/wang
4、配置环境变量：
在root用户下执行： 命令：vi etc/profile 添加scala的安装路径信息 export SCALA_HOME=/home/wang/scala-2.12.8 export PATH=PATH: PATH:PATH:SCALA_HOME/bin 添加spark的安装路径信息 export SPARK_HOME=/home/wang/spark-2.4.3 export PATH=PATH: PATH:PATH:SPARK_HOME/bin 使配置文件生效：：source /etc/profile
5、重命名
（1）把scala-2.12.8 重命名为 scala mvs cala-2.12.8 scala （2）把 spark-2.4.3-bin-hadoop2.7 重命名为 spark mv spark-2.4.3-bin-hadoop2.7 spark
6、测试
scala -version
7、启动
（1）、启动scala （2）启动spark
①先启动hadoop 环境 start-all.sh ②启动spark环境 进入到SPARK_HOME/sbin下运行start-all.sh /home/wang/spark/sbin/start-all.sh [注] 如果使用start-all.sh时候会重复启动hadoop配置，需要./在当前工作目录下执行命令 jps 观察进程 多出 worker 和 mater 两个进程。 查看spark的web控制页面：http://bigdata001:8080/ 显示spark的端口是7070
③启动Spark Shell
此模式用于interactive programming，先进入bin文件夹后运行：spark-shell SecureCRT 下 spark-shell 下scala> 命令行无法删除 ④此模式用于interactive programming，先进入bin文件夹后运行：spark-shell SecureCRT 下 spark-shell 下scala> 命令行无法删除
8、使用Spark Shell编写代码
（1）读取本地件 （2）显示第一行内容 （3）对上述hdfs根目录下f1.txt文件进行词频统计 （4）查看结果
