metrics小常識

Metrics，我們聽到的太多了，熟悉大資料系統的不可能沒聽說過metrics，當我們需要為某個系統某個服務做監控、做統計，就需要用到Metrics。

舉個例子，一個圖檔壓縮服務：

1. 每秒鐘的請求數是多少（TPS）？
2. 平均每個請求處理的時間？
3. 請求處理的最長耗時？
4. 等待處理的請求隊列長度？

又或者一個緩存服務：

1. 緩存的命中率？
2. 平均查詢緩存的時間？

基本上每一個服務、應用都需要做一個監控系統，這需要盡量以少量的代碼，實作統計某類資料的功能。

以 Java 為例，目前最為流行的 metrics 庫是來自 Coda Hale 的 dropwizard/metrics，該庫被廣泛地應用于各個知名的開源項目中。例如 Hadoop，Kafka，Spark，JStorm 中。

本文就結合範例來主要介紹下 dropwizard/metrics 的概念和用法。

Maven 配置

我們需要在

pom.xml

中依賴 

metrics-core

 包：

<dependencies> <dependency> <groupId>io.dropwizard.metrics</groupId> <artifactId>metrics-core</artifactId> <version>${metrics.version}</version> </dependency> </dependencies>

Metric Registries

MetricRegistry

類是Metrics的核心，它是存放應用中所有metrics的容器。也是我們使用 Metrics 庫的起點。

每一個 metric 都有它獨一無二的名字，Metrics 中使用句點名字，如 com.example.Queue.size。當你在 com.example.Queue 下有兩個 metric 執行個體，可以指定地更具體：com.example.Queue.requests.size 和 com.example.Queue.response.size 。使用

MetricRegistry

類，可以非常友善地生成名字。

MetricRegistry.name(Queue.class, "requests", "size") MetricRegistry.name(Queue.class, "responses", "size")

Metrics 資料展示

Metircs 提供了 Report 接口，用于展示 metrics 擷取到的統計資料。

metrics-core

中主要實作了四種 reporter：JMX, console, SLF4J, 和 CSV。 在本文的例子中，我們使用 ConsoleReporter 。

五種 Metrics 類型

Gauges 

最簡單的度量名額，隻有一個簡單的傳回值，或者叫瞬時狀态，例如，我們想衡量一個待處理隊列中任務的個數，代碼如下：

public class GaugeTest { public static Queue<String> q = new LinkedList<String>(); public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); registry.register(MetricRegistry.name(GaugeTest.class, "queue", "size"), new Gauge<Integer>() { public Integer getValue() { return q.size(); } }); while(true){ Thread.sleep(1000); q.add("Job-xxx"); } } }

運作之後的結果如下：

-- Gauges ------------------------------------------------ com.alibaba.wuchong.metrics.GaugeTest.queue.size value = 6

其中第7行和第8行添加了ConsoleReporter，可以每秒鐘将度量名額列印在螢幕上，了解起來會更清楚。

但是對于大多數隊列資料結構，我們并不想簡單地傳回

queue.size()

，因為

java.util

和

java.util.concurrent

中實作的

#size()

方法很多都是 O(n) 的複雜度，這會影響 Gauge 的性能。

Counters

Counter 就是計數器，Counter 隻是用 Gauge 封裝了 

AtomicLong

 。我們可以使用如下的方法，使得獲得隊列大小更加高效。

public class CounterTest { public static Queue<String> q = new LinkedBlockingQueue<String>(); public static Counter pendingJobs; public static Random random = new Random(); public static void addJob(String job) { pendingJobs.inc(); q.offer(job); } public static String takeJob() { pendingJobs.dec(); return q.poll(); } public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); pendingJobs = registry.counter(MetricRegistry.name(Queue.class,"pending-jobs","size")); int num = 1; while(true){ Thread.sleep(200); if (random.nextDouble() > 0.7){ String job = takeJob(); System.out.println("take job : "+job); }else{ String job = "Job-"+num; addJob(job); System.out.println("add job : "+job); } num++; } } }

運作之後的結果大緻如下：

add job : Job-15 add job : Job-16 take job : Job-8 take job : Job-10 add job : Job-19 15-8-1 16:11:31 ============================================ -- Counters ---------------------------------------------- java.util.Queue.pending-jobs.size count = 5

Meters

Meter度量一系列事件發生的速率(rate)，例如TPS。Meters會統計最近1分鐘，5分鐘，15分鐘，還有全部時間的速率。

public class MeterTest { public static Random random = new Random(); public static void request(Meter meter){ System.out.println("request"); meter.mark(); } public static void request(Meter meter, int n){ while(n > 0){ request(meter); n--; } } public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); Meter meterTps = registry.meter(MetricRegistry.name(MeterTest.class,"request","tps")); while(true){ request(meterTps,random.nextInt(5)); Thread.sleep(1000); } } }

運作結果大緻如下：

request 15-8-1 16:23:25 ============================================ -- Meters ------------------------------------------------ com.alibaba.wuchong.metrics.MeterTest.request.tps count = 134 mean rate = 2.13 events/second 1-minute rate = 2.52 events/second 5-minute rate = 3.16 events/second 15-minute rate = 3.32 events/second

注：非常像 Unix 系統中 uptime 和 top 中的 load。

Histograms

Histogram統計資料的分布情況。比如最小值，最大值，中間值，還有中位數，75百分位, 90百分位, 95百分位, 98百分位, 99百分位, 和 99.9百分位的值(percentiles)。

比如request的大小的分布：

public class HistogramTest { public static Random random = new Random(); public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); Histogram histogram = new Histogram(new ExponentiallyDecayingReservoir()); registry.register(MetricRegistry.name(HistogramTest.class, "request", "histogram"), histogram); while(true){ Thread.sleep(1000); histogram.update(random.nextInt(100000)); } } }

運作之後結果大緻如下：

-- Histograms -------------------------------------------- java.util.Queue.queue.histogram count = 56 min = 1122 max = 99650 mean = 48735.12 stddev = 28609.02 median = 49493.00 75% <= 72323.00 95% <= 90773.00 98% <= 94011.00 99% <= 99650.00 99.9% <= 99650.00

Timers

Timer其實是 Histogram 和 Meter 的結合， histogram 某部分代碼/調用的耗時， meter統計TPS。

public class TimerTest { public static Random random = new Random(); public static void main(String[] args) throws InterruptedException { MetricRegistry registry = new MetricRegistry(); ConsoleReporter reporter = ConsoleReporter.forRegistry(registry).build(); reporter.start(1, TimeUnit.SECONDS); Timer timer = registry.timer(MetricRegistry.name(TimerTest.class,"get-latency")); Timer.Context ctx; while(true){ ctx = timer.time(); Thread.sleep(random.nextInt(1000)); ctx.stop(); } } }

運作之後結果如下：

-- Timers ------------------------------------------------ com.alibaba.wuchong.metrics.TimerTest.get-latency count = 38 mean rate = 1.90 calls/second 1-minute rate = 1.66 calls/second 5-minute rate = 1.61 calls/second 15-minute rate = 1.60 calls/second min = 13.90 milliseconds max = 988.71 milliseconds mean = 519.21 milliseconds stddev = 286.23 milliseconds median = 553.84 milliseconds 75% <= 763.64 milliseconds 95% <= 943.27 milliseconds 98% <= 988.71 milliseconds 99% <= 988.71 milliseconds 99.9% <= 988.71 milliseconds

其他

初次之外，Metrics還提供了 HealthCheck 用來檢測某個某個系統是否健康，例如資料庫連接配接是否正常。還有Metrics Annotation，可以很友善地實作統計某個方法，某個值的資料。感興趣的可以點進連結看看。

使用經驗總結

一般情況下，當我們需要統計某個函數被調用的頻率（TPS），會使用Meters。當我們需要統計某個函數的執行耗時時，會使用Histograms。當我們既要統計TPS又要統計耗時時，我們會使用Timers。

轉   自 http://wuchong.me/blog/2015/08/01/getting-started-with-metrics/