一、兼容问题 Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala 2.10的支持被删除。自Spark 2.4.1起，对Scala 2.11的支持已被弃用，将在Spark 3.0中删除。 https://spark.apache.org/docs/latest/index.html
二、下载安装Scala和Spark 1、Scala的下载安装 https://www.scala-lang.org/download/ tar -zxvf scala-2.12.8.tgz -C /opt/module mv scala-2.12.8 scala 测试：scala -version 启动：scala 2、Spark的下载安装 https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz 解压、重命名 启动spark ①先启动hadoop 环境 start-all.sh ②启动spark环境 进入到SPARK_HOME/sbin下运行start-all.sh /opt/module/spark/sbin/start-all.sh [注] 如果使用start-all.sh时候会重复启动hadoop配置，需要./在当前工作目录下执行命令 jps 观察进程 多出 worker 和 mater 两个进程。 查看spark的web控制页面：http://bigdata128:8080/ 显示spark的端口是7070 ③启动Spark Shell 此模式用于interactive programming，先进入bin文件夹后运行：spark-shell SecureCRT 下 spark-shell 下scala> 命令行无法删除，解决办法： https://blog.csdn.net/nicolewjt/article/details/87368749 ④退出Spark Shell scala> :quit
三、使用Spark Shell命令编写代码 读取本地文件 显示第一行内容 读取HDFS文件 对上述hdfs根目录下f1.txt文件进行词频统计 查看结果 五、用Scala语言编写Spark独立应用程序 见参考资料：Spark2.1.0入门：第一个Spark应用程序：WordCount
六、用Java语言编写Spark独立应用程序
参考资料： Spark学习之路 （五）Spark伪分布式安装 https://www.cnblogs.com/qingyunzong/p/8903714.html#_label4_0
spark1.2.0版本搭建伪分布式环境 https://blog.csdn.net/stark_summer/article/details/43495623
Spark2.1.0入门：第一个Spark应用程序：WordCount http://dblab.xmu.edu.cn/blog/1311-2/
子雨大数据之Spark入门教程（Scala版） http://dblab.xmu.edu.cn/blog/spark/#more-924
Spark入门：Spark运行架构 http://dblab.xmu.edu.cn/blog/972-2/
Spark入门：RDD的设计与运行原理 http://dblab.xmu.edu.cn/blog/985-2/
