hadoop metrics 各參數解釋

hadoop metrics 各參數解釋

研究使用hadoop的人 對hadoop中詳細的計數器有所了解，但是很多人在想完全清楚所有metrics時 發愁找不到資料。而且在代碼中查找時介紹也比較少。先羅列出所有。

dfs.datanode.blockChecksumOp_avg_time 塊校驗平均時間

dfs.datanode.blockChecksumOp_num_ops 塊檢驗次數

dfs.datanode.blockReports_avg_time 塊報告平均時間

dfs.datanode.blockReports_num_ops 塊報告次數

dfs.datanode.block_verification_failures 塊驗證失敗次數

dfs.datanode.blocks_read 從硬碟讀塊總次數

dfs.datanode.blocks_removed 删除塊數目

dfs.datanode.blocks_replicated 塊複制總次數

dfs.datanode.blocks_verified 塊驗證總次數

dfs.datanode.blocks_written 向硬碟寫塊總次數

dfs.datanode.bytes_read 讀出總位元組包含crc驗證檔案位元組數

dfs.datanode.bytes_written 寫入總位元組數（在寫入每個packet時計數）

dfs.datanode.copyBlockOp_avg_time 複制塊平均時間 （機關ms）

dfs.datanode.copyBlockOp_num_ops 複制塊次數

dfs.datanode.heartBeats_avg_time 向namenode彙報平均時間

dfs.datanode.heartBeats_num_ops 向namenode彙報總次數

dfs.datanode.readBlockOp_avg_time 讀塊平均時間（機關ms）

dfs.datanode.readBlockOp_num_ops 讀塊總次數 一般和dfs.datanode.blocks_read 一緻，先從硬碟讀入輸入流，增加dfs.datanode.blocks_read 計數，然後再增加該計數

dfs.datanode.reads_from_local_client 從本地讀入塊次數

dfs.datanode.reads_from_remote_client 從遠端讀入塊次數

dfs.datanode.replaceBlockOp_avg_time 替換塊平均時間（負載均衡政策）

dfs.datanode.replaceBlockOp_num_ops 替換塊次數（負載均衡政策）

dfs.datanode.volumeFailures notfound 和block擁有的volume 失敗有關

dfs.datanode.writeBlockOp_avg_time 寫塊平均時間

dfs.datanode.writeBlockOp_num_ops 寫塊總次數一般和dfs.datanode.blocks_written 一緻，先從硬碟，增加dfs.datanode.blocks_read 計數，然後再增加該計數

dfs.datanode.writes_from_local_client 寫本地次數

dfs.datanode.writes_from_remote_client 寫遠端次數

jvm.metrics.gcCount gc總次數

jvm.metrics.gcTimeMillis gc總耗時(ms)

jvm.metrics.logError jvm error 次數

jvm.metrics.logFatal jvm出現fatal次數

jvm.metrics.logInfo jvm info出現次數

jvm.metrics.logWarn jvm warn出現次數

jvm.metrics.maxMemoryM jvm試圖使用最大記憶體（M），如果沒有限制傳回Long.MAX_VALUE

jvm.metrics.memHeapCommittedM jvm送出堆記憶體大小

jvm.metrics.memHeapUsedM jvm使用堆記憶體大小

jvm.metrics.memNonHeapCommittedM jvm非堆記憶體已送出大小

jvm.metrics.memNonHeapUsedM jvm非堆記憶體已使用大小

jvm.metrics.threadsBlocked 正在阻塞等待螢幕鎖的線程數目

jvm.metrics.threadsNew 尚未啟動的線程數目

jvm.metrics.threadsRunnable 正在執行狀态的線程數目

jvm.metrics.threadsTerminated 已退出線程數目

jvm.metrics.threadsTimedWaiting 等待另一個線程執行取決于指定等待時間的操作的線程數目

jvm.metrics.threadsWaiting 無限期地等待另一個線程來執行某一特定操作的線程數目

rpc.metrics.NumOpenConnections number of open connections rpc連接配接打開的數目

rpc.metrics.ReceivedBytes number of bytes received rpc收到的位元組數

rpc.metrics.RpcProcessingTime_avg_time Average time for RPC Operations in last interval rpc在最近的互動中平均操作時間

rpc.metrics.RpcProcessingTime_num_ops rpc在最近的互動中連接配接數目

rpc.metrics.RpcQueueTime_avg_time rpc在互動中平均等待時間

rpc.metrics.RpcQueueTime_num_ops rpc queue中完成的rpc操作數目

rpc.metrics.SentBytes number of bytes sent rpc發送的資料位元組

rpc.metrics.callQueueLen length of the rpc queue rpc 隊列長度

rpc.metrics.rpcAuthenticationFailures number of failed authentications rpc 驗證失敗次數

rpc.metrics.rpcAuthenticationSuccesses number of successful authentications 驗證成功數

rpc.metrics.rpcAuthorizationFailures number of failed authorizations 授權失敗次數

rpc.metrics.rpcAuthorizationSuccesses number of successful authorizations 成功次數

mapred.shuffleInput.shuffle_failed_fetches 從map輸出中取資料過程中擷取失敗次數

mapred.shuffleInput.shuffle_fetchers_busy_percent 在擷取map輸出過程中并行擷取線程忙碌占總并行擷取線程百分比

mapred.shuffleInput.shuffle_input_bytes shuffle過程中讀入資料位元組

mapred.shuffleInput.shuffle_success_fetches 從map輸出中取資料過程中擷取成功次數

mapred.shuffleOutput.shuffle_failed_outputs 向reduce發送map輸出失敗次數

mapred.shuffleOutput.shuffle_handler_busy_percent 向reduce發送map輸出中server線程忙碌占總工作線程(在tasktracker.http.threads中配置)百分比。

mapred.shuffleOutput.shuffle_output_bytes shuffle過程中輸出資料位元組

mapred.shuffleOutput.shuffle_success_outputs 向reduce成功

mapred.tasktracker.mapTaskSlots 設定map槽數

mapred.tasktracker.maps_running 正在運作的map數

mapred.tasktracker.reduceTaskSlots 設定reduce槽數

mapred.tasktracker.reduces_running 正在運作的reduce數

mapred.tasktracker.tasks_completed 完成任務數

mapred.tasktracker.tasks_failed_ping 因tasktracker與task互動失敗導緻的失敗的task數目

mapred.tasktracker.tasks_failed_timeout 因task未在mapred.task.timeout配置的(預設10分鐘)時間内彙報進度而逾時kill的task數目

rpc.detailed-metrics.canCommit_avg_time rpc詢問是否送出任務平均時間

rpc.detailed-metrics.canCommit_num_ops rpc詢問是否送出任務次數

rpc.detailed-metrics.commitPending_avg_time rpc報告任務送出完成，但是該送出仍然處于pending狀态的平均時間

rpc.detailed-metrics.commitPending_num_ops rpc報告任務送出完成，但是該送出仍然處于pending狀态的次數

rpc.detailed-metrics.done_avg_time rpc報告任務成功完成的平均時間

rpc.detailed-metrics.done_num_ops rpc報告任務成功完成的次數

rpc.detailed-metrics.fatalError_avg_time rpc報告任務出現fatalerror的平均時間

rpc.detailed-metrics.fatalError_num_ops rpc報告任務出現fatalerror的次數

rpc.detailed-metrics.getBlockInfo_avg_time 從指定datanode擷取block的平均時間

rpc.detailed-metrics.getBlockInfo_num_ops 從指定datanode擷取block的次數

rpc.detailed-metrics.getMapCompletionEvents_avg_time reduce擷取已經完成的map輸出位址事件的平均時間

rpc.detailed-metrics.getMapCompletionEvents_num_ops reduce擷取已經完成的map輸出位址事件的次數

rpc.detailed-metrics.getProtocolVersion_avg_time 擷取rpc協定版本資訊的平均時間

rpc.detailed-metrics.getProtocolVersion_num_ops 擷取rpc協定版本資訊的次數

rpc.detailed-metrics.getTask_avg_time 當子程序啟動後，擷取jvmtask的平均時間

rpc.detailed-metrics.getTask_num_ops 當子程序啟動後，擷取jvmtask的次數

rpc.detailed-metrics.ping_avg_time 子程序周期性的檢測父程序是否還存活的平均時間

rpc.detailed-metrics.ping_num_ops 子程序周期性的檢測父程序是否還存活的次數

rpc.detailed-metrics.recoverBlock_avg_time 為指定的block開始恢複标記生成的平均時間

rpc.detailed-metrics.recoverBlock_num_ops 為指定的block開始恢複标記生成的次數

rpc.detailed-metrics.reportDiagnosticInfo_avg_time 向父程序報告任務錯誤消息的平均時間，該操作應盡可能少，這些消息會在jobtracker中儲存

rpc.detailed-metrics.reportDiagnosticInfo_num_ops 向父程序報告任務錯誤消息的次數

rpc.detailed-metrics.startBlockRecovery_avg_time 開始恢複block的平均時間

rpc.detailed-metrics.startBlockRecovery_num_ops 開始恢複block的次數

rpc.detailed-metrics.statusUpdate_avg_time 彙報子程序進度給父程序的平均時間

rpc.detailed-metrics.statusUpdate_num_ops 彙報子程序進度給父程序的次數

rpc.detailed-metrics.updateBlock_avg_time 更新block到新的标記及長度的平均操作時間

rpc.detailed-metrics.updateBlock_num_ops 更新block到新的标記及長度的次數