spark2

    xiaoxiao2022-07-02  133

    1停掉集群运行

    /opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop

    2上传jar依赖,修改相应的用户组

    [root@master01 csd]# pwd /opt/cloudera/csd [root@master01 csd]# ll total 20 -rw-r--r-- 1 root root 19010 May 22 17:16 SPARK2_ON_YARN-2.3.0.cloudera2.jar [root@master01 csd]# [root@master01 csd]# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera2.jar [root@master01 csd]# ll total 20 -rw-r--r-- 1 cloudera-scm cloudera-scm 19010 May 22 17:16 SPARK2_ON_YARN-2.3.0.cloudera2.jar [root@master01 csd]#

    3上传安装文件

    1将文件 原来的manifest.json修改备份 [root@master01 parcel-repo]# pwd /opt/cloudera/parcel-repo [root@master01 parcel-repo]# mv manifest.json manifest.json.bak 2上传文件,修改文件名 [root@master01 parcel-repo]# mv SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1 SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha

    4进行文件完整性校验

    [root@master01 parcel-repo]# cat SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha 7c1ee0a80ffb123e7219a065b2aaae97cb58a6ce [root@master01 parcel-repo]# sha1sum SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel 7c1ee0a80ffb123e7219a065b2aaae97cb58a6ce SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel [root@master01 parcel-repo]#

    两个文件的校验码相同,表示文件完整

    5启动集群

    /opt/cm-5.13.0/etc/init.d/cloudera-scm-server start /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

    6进行分发

    7添加spark2服务

    8安装成功页面

    1问题一:安装过程中出现哈希校验失败,在下载文件过程中由于文件缺失引起的

    最新回复(0)