dremio yarn 資源排程配置簡單說明

以前簡單說過一些關于yarn 運作的，對于在yarn 資源排程架構運作，dremio 需要的配置還是比較多的## 配置簡單說明

配置需要三大步驟，hadoop配置，dremio runtime 配置，yarn 排程資源配置，以下主要說明關于dremio 相關的

• 協調節點

services: {      

coordinator.enabled: true,      

coordinator.master.enabled: true,      

executor.enabled: false      

}      

paths: {      

local: "/var/lib/dremio"      

...      

}      

• 分布式存儲配置（所有節點，主要是關于hdfs的）

paths: {      

...      

dist: "hdfs://<NAMENODE_HOST>:8020/path"      

# If Name Node HA is enabled, 'fs.defaultFS' should be used      

# instead of the active name node IP or host when specifying      

# distributed storage path. 'fs.defaultFS' value can be found      

# in 'core-site.xml'. (e.g. <value_for_fs_defaultFS>/path)      

}      

• zk 配置使用外部的

zookeeper: "<ZOOKEEPER_HOST_1>:2181,<ZOOKEEPER_HOST_2>:2181"      

services.coordinator.master.embedded-zookeeper.enabled: false      

• yarn 執行器配置

  通過ui，配置還需要配置spill 目錄（推薦使用yarn 節點的本地資源）

說明

參考資料