【雲栖号案例 | 網際網路】墨迹天氣上雲 分析日志大資料 洞察使用者需求

雲栖号案例庫： 【點選檢視更多上雲案例】 不知道怎麼上雲？看雲栖号案例庫，了解不同行業不同發展階段的上雲方案，助力你上雲決策！

公司簡介

我們是北京墨迹風雲科技股份有限公司，于2010年成立，是一家以“做卓越的天氣服務公司”為目标的新興移動網際網路公司，主要開發和營運的“墨迹天氣”是一款免費的天氣資訊查詢軟體。我們公司的“墨迹天氣”APP目前在全球約有超過5億人在使用，支援196個國家70多萬個城市及地區的天氣查詢，分鐘級、公裡級天氣預報，實時預報雨雪。提供15天天氣預報，5天空氣品質預報，實時空氣品質及空氣品質等級預報，其短時預報功能，可實作未來2小時内，每10分鐘一次，預測逐分鐘逐公裡的天氣情況。特殊天氣提前發送預警資訊，幫助使用者更好做出生活決策。

在我們的墨迹天氣APP上，每天有超過 5 億次的天氣查詢需求和将近20億次的廣告請求，這個數字甚至要大于 Twitter 每天發帖量。我們的墨迹天氣APP已經內建了多語言版本，可根據手機系統語言自動适配，使用者覆寫包括中國大陸、港澳台，日韓及東南亞、歐美等全球各地使用者。

業務痛點

我們的營運團隊每天最關心的是使用者正在如何使用墨迹，在使用者操作中透露了哪些個性化需求。這些資料全部存儲在墨迹的API日志中，對這些資料分析，就變成了營運團隊每天的最重要的工作。我們墨迹天氣的API每天産生的日志量大約在2TB左右，主要的日志分析場景是天氣查詢業務和廣告業務。“使用者每天産生的日志量大約在2TB。我們需要将這些海量的資料導入雲端，然後分天、分小時的展開資料分析作業，分析結果再導入資料庫和報表系統，最終展示在營運人員面前。整個過程中資料量龐大，且計算複雜，這對雲平台的大資料能力、生态完整性和開放性提出了很高的要求。

我們之前使用國外某雲計算服務公司的雲伺服器存儲這些資料，利用Hadoop的MapReducer和Hive對資料進行處理分析，但是存在以下問題：

• 成本：包括存儲、計算及大資料處理服務成本對比阿裡雲成本很高。
• 網絡帶寬：移動端業務量大，需要大量的網絡帶寬資源支援，但資料上傳也需要占用網絡帶寬，彼此之間互相幹擾造成資料傳輸不穩定。

解決方案

圖 1. 墨迹天氣日志分析解決方案架構

日志分析：

• 天氣業務日志：

1.解析後的日志資料通過DataWork直接寫入MaxCompute。

2.在DataIDE中進行資料彙總與統計。

3.資料和統計結果由MaxCompute同步到ECS。

4.最終将資料備份到本地資料庫，并輸出分析報表。

• 廣告業務日志：

1.日志實時寫入MaxCompute。

2.在DataIDE中加工解析之後的中間結果輸出到MaxCompute。

3.DataIDE彙總并統計資料。

4.通過MaxCompute同步資料和統計結果到雲上資料庫中。

5.最終将資料備份到本地資料庫，并輸出分析報表。

網絡帶寬：

由于每天産生的資料量較大，上傳資料會占用帶寬，為了不影響業務系統的網絡資源，我們開通了阿裡雲高速通道，用于資料上傳。通過此種手段解決了網絡帶寬的問題。

上雲價值

• 遷移到MaxCompute後，流程上做了優化，省掉了編寫MR程式的工作，日志資料全部通過SQL進行分析，營運我們營運工作效率提升了5倍以上。
• 存儲方面，MaxCompute的表按列壓縮存儲，更節省存儲空間，整體存儲和計算的費用比之前省了70%，性能和穩定性也有很大提升。
• 可以借助MaxCompute上的機器學習算法，對資料進行深度挖掘，為我們的産品使用者提供個性化的服務。
• 阿裡雲MaxCompute提供更為易用、全面的大資料分析功能。MaxCompute可根據業務情況做到計算資源自動彈性伸縮，天然內建存儲功能。通過簡單的幾項配置操作後，即可完成資料上傳，同時實作了多種開源軟體的對接。

相關産品

• 大資料計算服務 · MaxCompute

  MaxCompute（原ODPS）是一項大資料計算服務，它能提供快速、完全托管的PB級資料倉庫解決方案，使您可以經濟并高效的分析處理海量資料。

更多關于阿裡雲MaxCompute的介紹，

參見MaxCompute産品詳情頁

。

• 雲資料庫MongoDB版

雲資料庫MongoDB版支援ReplicaSet和Sharding兩種部署架構，具備安全審計，時間點備份等多項企業能力。在網際網路、物聯網、遊戲、金融等領域被廣泛采用。

更多關于雲資料庫MongoDB版的介紹，

參見雲資料庫MongoDB版産品詳情頁

• 雲伺服器ECS

雲伺服器（Elastic Compute Service，簡稱ECS）是阿裡雲提供的性能卓越、穩定可靠、彈性擴充的IaaS（Infrastructure as a Service）級别雲計算服務。雲伺服器ECS免去了您采購IT硬體的前期準備，讓您像使用水、電、天然氣等公共資源一樣便捷、高效地使用伺服器，實作計算資源的即開即用和彈性伸縮。阿裡雲ECS持續提供創新型伺服器，解決多種業務需求，助力您的業務發展。

更多關于雲伺服器ECS的介紹，

參見雲伺服器ECS産品詳情頁

• DataWorks

DataWorks是一個提供了大資料OS能力、并以all in one box的方式提供專業高效、安全可靠的一站式大資料智能雲研發平台。 同時能滿足使用者對資料治理、品質管理需求，賦予使用者對外提供資料服務的能力。

更多關于阿裡雲DataWorks的介紹，

參見DataWorks 産品詳情頁

【雲栖号線上課堂】每天都有産品技術專家分享！

線上課堂位址：

https://yqh.aliyun.com/zhibo

立即加入社群，與專家面對面，及時了解課程最新動态！

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK