storm-kafka元件中KafkaOffsetMetric相關統計名額說明

storm-kafka是storm提供的一個讀取kakfa的元件，用于從kafka隊列中消費資料。KafkaOffsetMetric是storm-kafka中關于消費狀态的Metric。本文将介紹KafkaOffsetMetric中的各個名額。

下面是kafka-spout 關于KafkaOffsetMetric 相關名額的示例：

{
    partition_3/latestTimeOffset=631044351,
    totalLatestTimeOffset=1031834482,
    totalSpoutLag=0,
    totalLatestEmittedOffset=1031834482,
    totalEarliestTimeOffset=1031834482,
    partition_3/latestEmittedOffset=631044351,
    partition_1/latestEmittedOffset=400790131,
    partition_3/earliestTimeOffset=631044351,
    partition_1/latestTimeOffset=400790131,
    partition_3/spoutLag=0,
    partition_1/earliestTimeOffset=400790131,
    partition_1/spoutLag=0
}
           

1.每個partition的消費狀态相關名額

partition_3/latestTimeOffset=631044351,   #該分區最新的offset，
partition_3/latestEmittedOffset=631044351,#該分區最新的消費的offst
partition_3/earliestTimeOffset=631044351, #該分區最早的offset，
partition_3/spoutLag=0,                   #該分區消費的延遲：spoutLag= latestTimeOffset - latestEmittedOffset；
           

2. 整體的消費狀态相關名額

totalLatestTimeOffset=1031834482,          #totalLatestTimeOffset += latestTimeOffset;          一個topic所有分區最新的offset值之和。
totalLatestEmittedOffset=1031834482,     #totalLatestEmittedOffset += latestEmittedOffset;  一個topic所有分區最新的消費的offset值之和。
totalEarliestTimeOffset=1031834482,        #totalEarliestTimeOffset += earliestTimeOffset;       一個topic所有分區最早的offset值之和。
totalSpoutLag=0,                                       #totalSpoutLag += spoutLag;                                  該topic消費的延遲           

作者：

丹江湖畔養蜂子的趙大爹

出處：http://www.cnblogs.com/honeybee/

關于作者：丹江湖畔養蜂子的趙大爹

本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連結