《Spark Cookbook 中文版》一1.6　在集群上使用Mesos部署Spark

本节书摘来异步社区《Spark Cookbook 中文版》一书中的第1章，第1.6节，作者： 【印度】Rishi Yadav（亚达夫）译者： 顾星竹 , 刘见康 责编： 胡俊英，更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.6　在集群上使用Mesos部署Spark

Mesos正慢慢崛起为跨数据中心管理所有计算资源的数据中心管理系统。Mesos可以运行在任意一台Linux操作系统的机器上。Mesos与Linux内核有着相同的配置原则。让我们看看如何安装Mesos。

具体步骤Mesosphere提供Mesos的二进制安装包。最新的Mesos分布式安装包可以通过Mesosphere库按照如下步骤安装。

1．在Ubuntu操作系统的可靠版本上执行Mesos。

$ sudo apt-key adv --keyserver keyserver.ubuntu.com –recv E56151BF DISTRO=$(lsb_release -is | tr '[:upper:]' '[:lower:]') CODENAME=$(lsb_release -cs) $ sudo vi /etc/apt/sources.list.d/mesosphere.list deb http://repos.mesosphere.io/Ubuntu trusty main

2．更新库。

$ sudo apt-get -y update

3．安装Mesos。

$ sudo apt-get -y install mesos

4．连接Spark到Mesos上以整合Spark和Mesos，配置Spark二进制安装包以适应Mesos，并配置Spark驱动以连接Mesos。

5．把第一份教程中使用到的Spark二进制安装包上传到HDFS。

$ hdfs dfs -put spark-1.4.0-bin-hadoop2.4.tgz spark-1.4.0-bin- hadoop2.4.tgz

6．Mesos单主节点的主URL是mesos://host:5050，如果使用ZooKeeper管理Mesos集群的话，URL是mesos://zk://host:2181。

7．配置spark-env.sh中的如下变量。

$ sudo vi spark-env.sh export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so export SPARK_EXECUTOR_URI= hdfs://localhost:9000/user/hduser/ spark-1.4.0-bin-hadoop2.4.tgz

8．通过Scala运行。

val conf = new SparkConf().setMaster("mesos://host:5050") val sparkContext = new SparkContext(conf)

9．通过Spark运行。

$ spark-shell --master mesos://host:5050

提示

Mesos有两种模式。

Fine-grained：在fine-grained模式（默认模式）下，每个Spark任务以独立的Mesos任务运行。Coarse-grained：在此模式下，仅会在每个Mesos机器上发起一个长时间运行的Spark任务。

10．如果想要修改模式为coarse-grained，配置spark.mesos.coarse。

conf.set("spark.mesos.coarse","true") 相关资源：敏捷开发V1.0.pptx