在了解资源调度和任务调度之前，需要先了解一下宽窄依赖和Stage两个概念 1.宽窄依赖
RDD之间是有依赖关系的，分为宽依赖和窄依赖 宽依赖 父RDD和子RDD之间的对应关系是一对多，即一个RDD中的数据会被放到多个子RDD中 窄依赖 父RDD和子RDD之间的对应关系是一对一或多对一，即一个父RDD中的数据去往一个子RDD或多个父RDD中的数据去一个子RDD2.Stage
Spark任务会根据RDD之间的依赖关系，形成一个DAG有向无环图。 DAG会被提交给DAGScheduler，DAGScheduler会把DAG划分为相互依赖的多个Stage，划分依据就是RDD之间的宽窄依赖。 遇到宽依赖就划分为Stage，每个Stage包含一个或多个task，然后将这些task以taskset的形式提交给TaskScheduler运行 每个Stage的task个数由Stage内最后一个RDD的分区数决定 Stage是由一组并行的task组成，这些task是一样的，只是针对的数据不同 每个Stage中的task是以管道pipeline的形式进行计算的，即对于每一条数据会直接通过task中的每个算子运算，而不是等全部的数据都在第一个算子计算后，再去第二个算子计算。 假设一个Stage中有算子f1，f2，f3，则有数据进行处理时：f3(f2(f1(数据)))，将多个算子嵌套起来。而不是一批数据f1(数据)=>result1，在对结果的数据集result执行f2(数据)3.Spark的资源调度和任务调度（standalone-cluster为例）
1.当资源启动时，Worker会向Master节点汇报资源，这时Master就掌握了Worker所拥有的资源 2.在客户端将Application提交时，会根据RDD之间的依赖关系形成一个DAG有向无环图 3.向Master申请资源，开启Driver 4.Master会随机找选择一台任务不忙的节点开启Driver 5.在任务提交之后会在Driver上创建启动两个对象DAGScheduler和TaskScheduler。 6.TaskScheduler在创建完成后，会向Master申请执行任务的资源 7.Master找到满足资源的Worker，在Worker上启动Executor 8.Worker上的Executor在启动后，会向Driver反向注册。这时Driver就会有一批用以执行任务的Executor 9.DAGScheduler将DAG根据依赖关系切分成一个个Stage，并将Stage中的任务task以TaskSet的方式传递给TaskScheduler 10.TaskScheduler会去遍历TaskSet，拿到每一个task，将task发送给计算节点上的Executor去执行 11.task在计算节点上的执行情况会向TaskScheduler汇报，当task执行失败时，TaskScheduler会重新发送该任务，当三次失败后，那个task所在的Stage宣布失败 12.当Stage失败后，DAGScheduler重试，重发TaskSet到TaskScheduler。DAGScheduler的重试次数为4次，即当4次后让未成功，则该job执行失败，则该application失败4.资源申请分为粗粒度资源申请和细粒度资源申请 粗粒度资源申请：
在Application执行之前，将全部的资源申请完毕 在申请资源时，必须申请到全部的资源才能开始任务的执行，在没有申请到全部资源时，是不会执行的 在任务开始执行后，必须等任务执行结束后，才会释放资源 因为资源已经全部申请，这是在执行Task时就不必等待资源的申请了，Task就可以很快的启动，Task块->Stage快->job快->application快细粒度资源申请
在Application执行前，不必去申请资源，而是直接执行，当执行到某个task时，为该task申请资源，执行完成后释放资源 这样可以将资源充分利用，不会有申请的资源闲置的情况。 但在每个task执行时都需要申请资源，会使得task的执行速度变的很慢