cdh5.13.0安装spark2.3

安装准备

1下载地址

1csd包：http://archive.cloudera.com/spark2/csd/ 2parcel包：http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/

2软件包

SPARK2_ON_YARN-2.3.0.cloudera2.jar manifest.json SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1

1停掉集群运行

/opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop

2上传jar依赖，修改相应的用户组

[root@master01 csd]# pwd /opt/cloudera/csd [root@master01 csd]# ll total 20 -rw-r--r-- 1 root root 19010 May 22 17:16 SPARK2_ON_YARN-2.3.0.cloudera2.jar [root@master01 csd]# [root@master01 csd]# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera2.jar [root@master01 csd]# ll total 20 -rw-r--r-- 1 cloudera-scm cloudera-scm 19010 May 22 17:16 SPARK2_ON_YARN-2.3.0.cloudera2.jar [root@master01 csd]#

3上传安装文件

1将文件 原来的manifest.json修改备份 [root@master01 parcel-repo]# pwd /opt/cloudera/parcel-repo [root@master01 parcel-repo]# mv manifest.json manifest.json.bak 2上传文件，修改文件名 [root@master01 parcel-repo]# mv SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1 SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha

4进行文件完整性校验

[root@master01 parcel-repo]# cat SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha 7c1ee0a80ffb123e7219a065b2aaae97cb58a6ce [root@master01 parcel-repo]# sha1sum SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel 7c1ee0a80ffb123e7219a065b2aaae97cb58a6ce SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel [root@master01 parcel-repo]#

两个文件的校验码相同，表示文件完整

5启动集群

/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

6进行分发

7添加spark2服务

8安装成功页面

1问题一：安装过程中出现哈希校验失败，在下载文件过程中由于文件缺失引起的