hadoopYarn

    xiaoxiao2022-06-26  177

    一 简介:

    在Hadoop1.0

       1 JobTrcaker    任务调度(分配Maptasker和ReduceTask 并监控任务的执行情况)和   资源管理(job执行)

       2 TaskTracker  任务执行

    在Hadoop2.0

    yarn   ResourceManager (资源管理  :负责资源的监控) --ApplicationManager  Schedular

             ApplicationMaster  任务调度

             NodeManager   任务执行  ---MapTask  ReduceTask

     

    Yarn的执行流程:

      1 将job任务提交ResourceManager,在子组件ApplicationManager 会为job任务分配执行所要的资源(内存和CPU的核数),将分配的资源转到Container对象中

     

    核心思想

    将JobTracker和TaskTacker进行分离,它由下面几大构成组件: 一个全局的资源管理器 ResourceManager ResourceManager的每个节点代理 NodeManager 表示每个应用的 ApplicationMaster 每一个ApplicationMaster拥有多个Container在NodeManager上运行

     

     

     

     

     

    假设每个节点都是8G 8核,在默认情况,当前最多能分配24个


    最新回复(0)