一、官网下载安装Scala：scala-2.12.8.tgz https://www.scala-lang.org/download/ tar -zxvf scala-2.12.8.tgz -C /opt/module mv scala-2.12.8 scala 测试：scala -version 启动：scala 二、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz 解压、重命名 ①先启动hadoop 环境 start-all.sh ②启动spark环境 进入到SPARK_HOME/sbin下运行start-all.sh /opt/module/spark/sbin/start-all.sh 配置/conf/ cp spark-env.sh.template spark-env.sh export JAVA_HOME=/opt/jdk1.8.0_121 export HADOOP_HOME=/opt/hadoop-2.7.7 export HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop export SPARK_MASTER_IP=localhost export SPARK_MASTER_PORT=7077 sbin/start-all.sh 启动spark 三、使用Spark Shell编写代码 RDD(Resilient Distributed Datasets),弹性分布式数据集,是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低. 创建RDD的两种方法: 1.并行化集合 val data= sc.parallelize(Array(1,2,3)) 2.外部数据集 val textFile = sc.textFile(“file:///opt/word.txt”)
