1 YARN 産生背景
2 YARN 架構
3 YARN 執行流程
1.client向yarn送出job，首先找ResourceManager配置設定資源，
2.ResourceManager開啟一個Container,在Container中運作一個Application manager
3.Application manager找一台nodemanager啟動Application master，計算任務所需的計算
4.Application master向Application manager（Yarn）申請運作任務所需的資源
5.Resource scheduler将資源封裝發給Application master
6.Application master将擷取到的資源配置設定給各個nodemanager
7.各個nodemanager得到任務和資源開始執行map task
8.map task執行結束後，開始執行reduce task
9.map task和 reduce task将執行結果回報給Application master
10.Application master将任務執行的結果回報pplication manager。
4 YARN 環境搭建
- 官方文檔指南 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html
史上最快! 10小時大資料入門實戰(四)-分布式資源排程YARN1 YARN 産生背景2 YARN 架構3 YARN 執行流程4 YARN 環境搭建5 送出 PI 的 MapReduce 作業到 TARN 上執行 史上最快! 10小時大資料入門實戰(四)-分布式資源排程YARN1 YARN 産生背景2 YARN 架構3 YARN 執行流程4 YARN 環境搭建5 送出 PI 的 MapReduce 作業到 TARN 上執行 史上最快! 10小時大資料入門實戰(四)-分布式資源排程YARN1 YARN 産生背景2 YARN 架構3 YARN 執行流程4 YARN 環境搭建5 送出 PI 的 MapReduce 作業到 TARN 上執行 驗證 史上最快! 10小時大資料入門實戰(四)-分布式資源排程YARN1 YARN 産生背景2 YARN 架構3 YARN 執行流程4 YARN 環境搭建5 送出 PI 的 MapReduce 作業到 TARN 上執行 史上最快! 10小時大資料入門實戰(四)-分布式資源排程YARN1 YARN 産生背景2 YARN 架構3 YARN 執行流程4 YARN 環境搭建5 送出 PI 的 MapReduce 作業到 TARN 上執行 史上最快! 10小時大資料入門實戰(四)-分布式資源排程YARN1 YARN 産生背景2 YARN 架構3 YARN 執行流程4 YARN 環境搭建5 送出 PI 的 MapReduce 作業到 TARN 上執行
5 送出 PI 的 MapReduce 作業到 TARN 上執行