天天看點

Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

一、Yarn的SHELL指令

任務管理

顯示運作的應用程式

yarn -application -list      
Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

殺死正在運作的任務

yarn application -kill 任務id      

節點管理

檢視節點清單

yarn node -list      
Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

檢視節點狀态

yarn node -status 節點ID      
Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

二、Hadoop作業排程器

FIFO

Capacity scheduler

Fair

Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

具體設定可以檢視yarn-default.xml檔案

Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

FIFO先進先出排程器

FIFO Scheduler把應用按送出的順序拍成一個隊列,這是一個先進先出隊列,在進行資源配置設定的時候,先給隊列中最上頭的應用進行資源配置設定,待最頭上的應用需求滿足後再給下一個配置設定,以此類推

Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器
Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

容量排程器(Capacity Scheduler)

支援多個隊列,每個隊列可配置一定的資源量,每個隊列都采用FIFO排程政策

存在資源的一些浪費

Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器
Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器
Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

公平排程器(Fair Scheduler)

支援多隊列,多使用者,每個隊列中的資源可以配置,同一隊列中的作業共享隊列中所有資源

Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器
Hadoop專欄(九)Yarn的SHELL指令和Hadoopuoye排程器

繼續閱讀