【行業應用】阿裡雲實時計算 Flink 版廣告行業解決方案

行業背景

廣告業務一直是網際網路公司的主要利潤來源，其市場規模 2017 年已達 3000 億元，據統計全球網際網路市值前十的公司廣告收入占比高達 40%，可見其重要性。而與網際網路廣告相關的技術，我們稱之為計算廣告，也是最為成熟，市場規模最大的大資料應用領域。網際網路廣告領域經過長期發展，分工逐漸精細化，除了各種代理商之外，還出現了 ADN、SSP、ADX、DSP 等各種平台，市場結構極為複雜，形成了一個巨大的生态。

網際網路廣告從誕生那一刻起就與技術緊密相關，這也是網際網路廣告相比傳統線下廣告更有優勢的地方，通過大資料和機器學習等技術，網際網路廣告能夠在個性化技術的基礎上實作更精準的閱聽人定位，不斷提高閱聽人與廣告的比對度，讓目标群體在具象化的場景中看到精準投放的廣告，達成三方共赢。

廣告投放的基本流程是确定的，但每次決策會随着場景的變化産生不同的結果，其決策依據便來源于離線資料處理子產品和線上資料處理子產品，可以說這兩部分是整個計算廣告系統的神經中樞，也是決定計算廣告系統最終效果的關鍵部分。

解決方案

大資料的資料處理以離線計算為開端，是以很多應用實施在了離線計算引擎上，但随着線上計算引擎的發展，越來越多的業務都可以線上化、實時化。比如離線進行中人為決策的部分，其實可以改造成實時報表，甚至實時數倉，另外線上機器訓練也越來越普及，線上業務的好處顯而易見。

在廣告行業中，整個廣告的決策過程是一個實時、線上的過程，傳統的離線技術則很難滿足全部業務發展的需求。廣告行業場景全面向實時化轉型，包括：

• 線上反作弊：網際網路廣告的核心是流量，流量作假将直接影響收益。據 ANA 統計，大約有 37% 的線上廣告點選存在作弊，可見線上反作弊子產品的重要性，處理不當可能造成巨大的資金浪費。
• 線上計費：很多廣告系統是程式化交易（如 DSP），每次點選都會扣除廣告主相應的費用，這要求系統能夠快速完成結算、扣除費用，并下線費用不足的廣告。并且計費需要扣除作弊流量，維護廣告主的權益。
• 線上閱聽人定向：閱聽人定向主要是計算使用者的各種标簽，有時使用者短期内的行為更有參考價值，産出的短期标簽更有效，比如閱聽人突然看到某篇文章進而對某類産品産生了興趣。這在效果類廣告上更加明顯。
• 線上點選回報：可以根據使用者線上點選情況去調整 CTR 模型以更好的預估點選率。
• 實時索引：廣告是一種商業行為，廣告主會根據目前廣告的效果調整廣告政策，每次調整後都需要盡快生效，否則将造成資金浪費，是以需要實時把廣告的更新或釋出都建到廣告索引中去。
• 實時廣告連結檢測：根據通路日志快速判斷某些廣告連結是否失效，如果失效則快速将其下線，防止資損。

成功案例

趣頭條

“趣頭條”是一款由上海基分文化傳播有限公司開發的 APP。團隊緻力于通過大資料算法和雲計算等技術，為使用者提供内容及服務。在 2018 年，經過謹慎的技術架構對比，抛棄了 Spark Streaming 和 Storm，直接基于 Flink 搭建了實時計算平台。

Flink 目前在基分的應用非常廣泛，支撐整個集團的産品，包括趣頭條、米讀、米讀極速版、萌推等。業務場景主要是計費、監控、倉庫、使用者畫像、算法、内容線六部分：

• 計費，主要是計算廣告商接入的計費成本，并與其進行結算。每次廣告點選完成後，每個月可能會産生類似于離線報表的資料，目前如果需要切換成實時，基本隻需要點選就會産生扣費環節，是非常核心的任務。
• 監控，業務存在不同類型的監控需求，如：機器層面、應用層面等。
• 倉庫，目前基本是批量落資料，比如五分鐘、十分鐘，類似于視窗的間隔時間去落資料。
• 使用者畫像，即将使用者畫像的一些資料通過 Flink 進行清洗，完成之後會落到 HDFS 上，用來做訓練。
• 算法，目前除了使用者畫像，還有推薦，目前不同使用者打開 APP 之後會推薦不同的内容。
• 内容線，主要用于風控，部分使用者存在利用 APP 刷金币的行為，比如打開某個内容之後，不看内容而可在背景跑一百多個程式進行刷金币，目前通過 Flink 可以做到實時風控，能實時識别出某台裝置是否是真正的使用者，如果不是，就會将其屏蔽掉。

通過使用實時計算技術，平台可建構使用者實時畫像并對廣告進行精準投放，提高點選率和轉化率；實作精細化營運，提升平台對使用者的吸引力，進而提高使用者留存時長；對核心業務的實時監控，也保證了整體鍊路的穩定性和安全性。

實時計算 Flink 版産品交流群

阿裡雲實時計算Flink - 解決方案： https://developer.aliyun.com/article/765097 阿裡雲實時計算Flink - 場景案例： https://ververica.cn/corporate-practice 阿裡雲實時計算Flink - 産品詳情頁： https://www.aliyun.com/product/bigdata/product/sc