在海量資料的大視訊行業，如何滿足大資料需求？12月20日舉辦的北京雲栖大會“企業雲上業務優化”分論壇上，熊貓直播大資料技術專家盧聖剛，分享了熊貓直播不斷優化雲上資源，建立起靈活配置、高擴充性、易于運維的雲上架構的寶貴經驗。
作為知名泛娛樂直播平台，熊貓直播涵蓋遊戲、娛樂、綜藝、戶外、體育等多種泛娛樂直播内容。在身處大視訊時代的當下，熊貓直播代表了衆多大視訊企業的大資料需求：面對分散在MySQL、Redis、MongoDB之中的資料源頭，需要實作統一的資料存儲；面對不同的業務場景和高速的業務發展，需要實作靈活的橫向擴充——不僅能靈活添加開源組建，還需要能快速增加計算節點。
作為高速發展的直播平台，熊貓直播資料緯度多、資料量巨大——累計已經達到PB級，僅僅每天新增的就有幾十T。就離線計算的資料量看，每天幾百個日常計算任務，以及大量的臨時查詢需求。
為了滿足這樣的大資料需求，盧聖剛分享了熊貓直播從Fluentd + ODPS、到Flume + Ambari、再到Flume + EMR的架構演進曆程。
阿裡雲EMR——Elastic MapReduce（E-MapReduce），是基于阿裡雲ECS之上半托管開源大資料軟體棧。
盧聖剛分享了選擇EMR的原因：“EMR的彈性動态伸縮，能夠幫助熊貓直播直線快捷的擴容、縮容EMR Hadoop叢集，靈活、快速部署開源大資料服務（HBase、Kafka、Impala，Flink等），還具備資料存儲成本低的優勢。”
盧聖剛還特别了強調運維機制對于選擇EMR的關鍵作用。阿裡雲企業服務對熊貓直播給予7*24小時釘釘群支援，快速解決叢集使用問題。阿裡雲服務的支撐保障，使熊貓直播能夠減少運維工作，更專注于業務。
未來，熊貓直播會将依托阿裡雲，繼續深耕大視訊資料業務，滿足大視訊時代不斷演進的大資料需求。
了解更多請微網誌關注阿裡雲客戶滿意中心
