本节书摘来自华章出版社《循序渐进学Spark》一书中的第3章，第3.7节，作者 小象学院 杨 磊，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3.7 本章小结
本章主要讲述了Spark的工作机制与原理。首先剖析了Spark的提交和执行时的具体机制，重点强调了Spark程序的宏观执行过程： 提交后的Job在Spark中形成了RDD DAG（有向无环图），然后进入一系列切分调度的过程。在剖析过程中，结合Spark的源码呈现了这些调度过程的代码细节。本章后半部分接着剖析了Spark的存储及IO、Spark通信机制，最后讲述了Spark的容错机制及Shuffle机制。 本章内容比较多，希望读者仔细体会。
