一、官网下载安装Scala：scala-2.12.8.tgzhttps://www.scala-lang.org/download/ tar -zxvf scala-2.12.8.tgz -C /opt/module mv scala-2.12.8 scala 测试：scala -version 启动：scala 二、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgzhttps://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz 解压、重命名 启动spark 先启动hadoop 环境 start-all.sh ②启动spark环境 进入到SPARK_HOME/sbin下运行start-all.sh/opt/module/spark/sbin/start-all.sh 查看spark的web控制页面：http://bigdata128:8080/ ③启动Spark Shell 此模式用于interactive programming，先进入bin文件夹后运行：spark-shell SecureCRT 下 spark-shell 下scala> ④退出Spark Shell scala> :quit 三、使用Spark Shell编写代码 读取本地文件(scala中运行) Val textFile=sc.textFile(file:///opt/module/spark/bin/f1.txt) 显示第一行内容 textFilefirst() 读取HDFS文件 Val textFile=sc.textFile(“hdfs://192.168.43.87:9000/f1.txt”) 对上述hdfs根目录下f1.txt文件进行词频统计 四、用Scala语言编写Spark独立应用程序 第一个Spark应用程序：WordCount 参照网址：http://dblab.xmu.edu.cn/blog/1311-2/
