生成jar包在wordcoeclipse Spark:spark-1.1.0-bin-hadoop2.4 scala:2.10.4 创建scala工程,编写wordcount程序如下unt中运行 右击工程->export,生成jar包 名称spark.jar,路径/usr/local/myjar/spark.jar
启动spark集群,自己写一个hadoop.txt,上传hadoop.txt到集群的/user/hadoop/文件夹之下
HDFS的操作见此文http://www.cnblogs.com/gnivor/p/4089948.html 写一个脚本,用来执行这个程序 存放路径:/usr/local/myjar/WordCount.sh 执行脚本 进入脚本所在路径:/usr/local/myjar,执行脚本:./WordCount.sh 一段时间后可见结果。