中國移動營運分析實時監控平台之SparkStreaming實時資料分析并将最後結果存儲到redis中

業務概況

通過實時的分析使用者的流量資料，擷取使用者動态的充值的訂單量、充值全過程的平均時長、以及某段時間充值的成功率等。首先解析資料格式，從标簽體系庫中截取出需要的字段值，使用SparkStreaming的對抽取出來的屬性加以處理。

1）統計每個市的充值失敗的次數，并以地圖的方式顯示資料的分布情況。

2）以市為次元，統計訂單量排名前5的市，并統計每個市的訂單的成功率。

3）實時統計全省的每分鐘的充值筆數和充值金額。

實作要點：

1、采用spark streaming直連 kafka方式，避免資料重複消費和丢失。

2、手動管理Offset, 并對Offset做校驗，通過擷取MySQL中持有的偏移量與Kafka叢集上的EarliestOffset進行對比，保證資料準确與安全。

2、實時計算的所有名額資料都存儲到redis，并使用Echarts做資料可視化。

具體代碼實作：

https://github.com/wangleikai/cmcc_monitor