问题一般是spark的java版本与作业编译的java版本不一致，建议将本地java版本改为与spark一致的版本，目前集群是1.7.0。
各JDK版本对应的版本数字编号如下所示：
J2SE 8 = 52,
J2SE 7 = 51,
J2SE 6.0 = 50,
J2SE 5.0 = 49,
JDK 1.4 = 48,
JDK 1.3 = 47,
JDK 1.2 = 46,
JDK 1.1 = 45
解决方法：
->安装jdk1.8
->下载对应位数的jdk，解压，移动到/usr/local/java下
->修改/etc/profile文件java -version还是1.7
->配置软连接
sudo update-alternatives --install /usr/bin/java java /usr/local/java/jdk1.8.0_201/bin/java 300 sudo update-alternatives --install /usr/bin/javac javac /usr/local/java/jdk1.8.0_201/bin/javac 300->切换Java版本
sudo update-alternatives --config java sudo update-alternatives --config javac->java -version显示1.8版本
->进入spark安装目录 bin/pyspark正常进入spark shell
