實時計算案例:新華智雲

挑戰

新華智雲通過大資料及人工智能為内容生産者提供涉及内容采集、編輯、存儲、分發等全新聞鍊路的專有技術，緻力于通過大資料技術驅動媒體變革。數芯是新華智雲推出的實時輿情分析平台，旨在滿足使用者一系列輿情分析需求。資訊處理與算法部分是輿情分析的關鍵，擔負着将原始資料加工成資訊與知識的重任，數芯的資料處理既需要對抓取的實時資料進行資料流的資料清洗、目标提取、結果聚合，也需要提供算法服務預先訓練好模型，供實時計算調用。

解決方案

面對多個資料上遊、多個資料下遊，資料處理過程複雜，既有清洗、結構化的工作，又有多元度統計工作的挑戰，新華智雲的數芯平台選擇放棄開源 Spark 技術方案，而整體遷移到一站式、高性能實時大資料處理平台阿裡雲實時計算。

整體系統架構上，數芯對輿情規劃、資訊擷取、資訊處理與算法以及最終為使用者呈現的服務四個部分進行全面優化。在核心的資訊進行中，阿裡雲實時計算的實時數倉為數芯提供資料的實時清洗、歸并、結構化，并将結構化的資料按照次元聚合并聯合原始資訊存儲供下遊算法服務使用。依托阿裡雲實時計算強大的實時資料處理功能，數芯成功串聯了整個輿情分析的資料流，滿足了使用者對輿情實時分析的需求。

業務優勢

數芯遷移後的實時計算架構不再需要人力運維，資訊處理對接的上下遊也實作了免開發的直接注冊，阿裡雲實時 計算實時處理歸檔後的資料能夠進一步分析發現系統問題、新事件與新模型，整體上提升了系統效果;從開發而 言，實時計算強大的 Flink SQL 提供 SQL 語義的流式資料分析能力，不需要寫複雜代碼，使用通用 SQL 即可，幫 助數芯大幅降低流資料分析的門檻，輕松實作業務的實時資料處理與資料的全鍊路流動。

客戶評價

數芯的 ETL 作業是實時計算的典型場景之一，阿裡雲實時計算在整個業務系統的運轉中既承接資料清洗、目标提 取與結構化整合的重任，又與上下遊算法服務一脈相承。以阿裡雲實時計算為基礎建構的實時計算架構使業務部 門的使用體驗非常愉快，具體表現在:

• 實時計算幫助我們擺脫了人力運維并且能夠高度保障資料安全。
• 實時計算強大的 Flink SQL 可以對接上下遊，直接注冊，不需要寫複雜代碼，使用通用 SQL 即可，資料分析 的門檻低。
• 在資料流處理上我們用實時計算串起整個資料流，ETL 用 UDX，統計用 SQL，十分友善。

實時計算 Flink 版産品交流群

阿裡雲實時計算Flink - 解決方案： https://developer.aliyun.com/article/765097 阿裡雲實時計算Flink - 場景案例： https://ververica.cn/corporate-practice 阿裡雲實時計算Flink - 産品詳情頁： https://www.aliyun.com/product/bigdata/product/sc