1停掉集群运行
/opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop
/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop
2上传jar依赖,修改相应的用户组
[root@master01 csd]# pwd
/opt/cloudera/csd
[root@master01 csd]# ll
total 20
-rw-r--r-- 1 root root 19010 May 22 17:16 SPARK2_ON_YARN-2.3.0.cloudera2.jar
[root@master01 csd]#
[root@master01 csd]# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera2.jar
[root@master01 csd]# ll
total 20
-rw-r--r-- 1 cloudera-scm cloudera-scm 19010 May 22 17:16 SPARK2_ON_YARN-2.3.0.cloudera2.jar
[root@master01 csd]#
3上传安装文件
1将文件 原来的manifest.json修改备份
[root@master01 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@master01 parcel-repo]# mv manifest.json manifest.json.bak
2上传文件,修改文件名
[root@master01 parcel-repo]# mv SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1 SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
4进行文件完整性校验
[root@master01 parcel-repo]# cat SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
7c1ee0a80ffb123e7219a065b2aaae97cb58a6ce
[root@master01 parcel-repo]# sha1sum SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
7c1ee0a80ffb123e7219a065b2aaae97cb58a6ce SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
[root@master01 parcel-repo]#
两个文件的校验码相同,表示文件完整
5启动集群
/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start
6进行分发
7添加spark2服务
8安装成功页面
1问题一:安装过程中出现哈希校验失败,在下载文件过程中由于文件缺失引起的