近年來，随着實時化需求的場景日益增多，企業已不滿足于簡單使用流計算或批計算進行資料處理，采用一套引擎即可實作低延遲、高吞吐、高穩定的強大性能逐漸成為更多企業的追求。Apache Flink 作為領先的開源大資料計算引擎，在流批一體的探索上日臻成熟，并在穩定性、性能和效率方面都經受住了阿裡巴巴雙11的嚴苛生産環境考驗。
如今，除電商行業外，Flink 流批一體的應用幾何？在降本增效的需求驅動下，企業如何實作資料與算力價值最大化？
12月13日-15日，Flink Forward Asia 2020 線上峰會，來自位元組跳動、騰訊、快手、微網誌、Bigo、網易遊戲、知乎、愛奇藝、小米、京東、汽車之家、貝殼找房、58同城、好未來、360、網易雲音樂、有贊、螞蟻集團、天貓等 19 家各行業的先行者們分享優秀的技術實踐案例，及其實用、可落地的技術應用開發經驗。
▼ 掃碼了解完整大會議程 ▼
（大會官網）
本文節選 Flink Forward Asia 2020 線上峰會行業實踐專場主題分享，并詳細介紹各主題内容供大家參考，更多大會議程請點選「
閱讀原文 」～快手基于 Apache Flink 的持續優化實踐
董亭亭 | 快手實時計算負責人
本次議題主要介紹快手基于 Apache Flink 在穩定性、可用性及 SQL 引擎方面進行的持續優化與實踐。重點包括三部分：
- 穩定性優化。各類單點故障造成的作業重新開機，優化故障發現、作業重新開機過程，進一步縮短作業恢複時間。
- 作業啟動優化。優化作業啟動流程，進一步縮短作業更新啟動時間。
- Flink SQL 優化。在 Flink SQL 應用過程的問題做進一步優化，包括優化 udf 重複執行，優化 groupby bounded 場景下資料傾斜問題。
Bigo 實時計算平台建設實踐
徐帥 | Apache Flink Contributor，Bigo計算平台負責人
主要介紹 Bigo 實時計算平台的建設及為支援業務場景所做擴充及優化。分為幾個小節：
- 介紹 Bigo 實時計算平台的發展過程及現狀。
- 介紹在 Flink 上做的優化及一些自己的特色。包括跟 Pulsar，ClickHouse 等生态的結合。
- 介紹典型的業務場景。重點介紹視訊、直播等 App 打點資料要通過 Flink 進行實時 ETL 之後落到 Hive 裡。在此過程中我們解決了打點資料的自動化接入、自動切分，不同 topic 互相隔離，端到端 Exactly once，根據 Event time 來保證 Hive partition 寫完整并建立 meta 等問題。
- 介紹 Flink 對業務帶來的效率上的提升。APP 上的功能每天都在進行 ABTest，傳統走批處理的方法計算資源消耗多，而且時效性太差。通過将原先批處理的鍊路改造為用 Flink 做實時的計算，實作了流批一體，大大的提高了 ABTest 的效率，并且節省了資源。
Flink 實時計算在微網誌的應用
曹富強 | 微網誌機器學習研發中心資料計算負責人，進階系統工程師
- 基于 Flink 搭建的微網誌實時計算平台
- 微網誌實時數倉的搭建和應用
- Flink 在機器學習的應用及平台化
- 批流一體 Flink SQL
騰訊遊戲實時計算應用平台建設實踐
許振文 | 騰訊遊戲增值服務部資料中心背景開發組組長
現在網絡遊戲市場規模已經達到數百億美元的量級，在大資料和微服務技術的浪潮中，如何通過資料化營銷來優化遊戲營運?
本議題将介紹針對這一應用趨勢而建構的騰訊遊戲資料營銷服務開發平台，講述如何将大資料和微服務進行合理的拆分，以及通過對這些能力合理有效的組織和架構來為遊戲業務提供多樣化的資料營銷服務。在内部如何根據遊戲業務資料化營運場景實踐落地大規模的 Flink、Kafka、ServiceMesh 等技術。
為大家揭示迄今為止資料與遊戲結合的豐富技術落地場景，以及遊戲領域資料技術基礎設施和技術平台架構，并與大家探讨未來資料技術與遊戲結合的更多可能性。
知乎的 Flink 資料內建平台建設實踐
孫曉光 | 知乎技術平台負責人
知乎基于 Sqoop 搭建了自己的離線資料內建平台，在過往的使用過程中受限于 Sqoop 架構的限制和社群不夠活躍的狀态，許多平台能力和體驗的改進難以實作。Flink 作為新一代的分布式計算引擎，擁有非常積極活躍的使用者社群和開發者生态。Flink 豐富成熟的資料源支援和靈活的開發能力是知乎下一代資料內建平台的理想基座。
本次主題将分享知乎以 Flink 為基礎打造的通用資料內建平台，打通知乎内部各項資料資産。
基于 Flink 和 LogMiner 的 Oracle CDC 實踐
崔星燦 | Apache Flink Committer，Wealthsimple 軟體工程師
作為一家金融科技公司，Wealthsimple 長期依賴 Oracle General Ledger 存儲使用者交易等賬目資料。為了支援賬戶餘額及金融産品持倉等相關業務，賬簿團隊需要從 Oracle 中持續導出最新入賬資料進行核算。
現有基于 SQL 輪詢的資料擷取方式存在着延遲較高、無法檢測資料更新等弊端，為此團隊決定采用 Change Data Capture（CDC）替換目前方案。實踐過程中，我們借助 Oracle LogMiner 和 Flashback Query 實作了基本的資料捕獲邏輯，并将其嵌入到 Flink Source Connector 中。同時，為了保證端到端的精确一次語義，我們基于 XA Transaction 完成了一個支援兩階段送出的 Flink JDBC Sink Connector。
本次演講内容将會涵蓋使用 LogMiner 和 Flink 捕獲 Oracle 資料改動的基礎知識，以及團隊在上述項目初期的探索與思考。
Flink SQL 在雲音樂的産品化實踐
蔣文偉 | 杭州網易雲音樂資料智能部資深資料平台開發工程師
SQL 作為優秀的資料處理語言被廣泛使用，但原生的 Flink SQL 在實際使用過程中往往會遇到無法滿足業務的情況，本次主題将介紹雲音樂為解決這些問題而進行的工作。主要分享内容為：
- 功能擴充與封裝，建立了支援子產品化與元件化的 Notebook 開發環境。
- 性能調優，解決業務實際場景中遇到的讀寫方面瓶頸。
- 強化運維監控，建立自己的智能診斷體系。
- 分享内部案例。
Apache Flink 在京東的實踐與優化
付海濤 | 京東進階技術專家
京東于2018-開始基于 Flink+K8s 深入打造高性能、穩定、可靠、易用的實時計算平台，支撐了京東内部多條業務線平穩度過618、雙11多次大促。
本次講演将分享京東 Flink 在實踐過程中遇到的問題、挑戰和解決方案，對社群版 Flink 所做的定制和優化，以及未來的展望和規劃。
Flink 在有贊的實踐和應用
沈磊 | Apache Flink Contributor，有贊資料研發
本次分享主要講解有贊 Flink 基于 K8S 容器化改造的實踐化經驗。在 Flink SQL 方面，也會分享在 Flink SQL 的實踐，如高可用 HBase、無密 MySQL Connector 實踐，Flink SQL 與 ClickHouse 內建，以及支援 checkpoint 作為狀态恢複等。
最後會分享 Flink Jar 和 SQL 任務血緣中繼資料自動化采集經驗分享，通過任務中繼資料資訊，幫助業務方更好的管理和維護自己的實時任務。
Flink 在58同城應用與實踐
馮海濤 | 58同城大資料部門架構師，實時計算平台負責人
- 58實時計算平台簡介
- Flink 在58的業務實踐
- 平台化建設
- 未來規劃
基于 Flink 的 PB 級資料即席查詢實踐
**蘇軍 | 360政企安全集團大資料開發工程師
劉佳 | 360政企安全集團大資料開發工程師**
為滿足私有雲部署下，使用有限資源對 PB 級機器資料進行秒級即席查詢，進行安全分析的需求，360 本地安全大腦利用機器資料的高度重複性、查詢的規律性、以及命中資料比例低的特點，設計并實作了“Blink + ORC 檔案存儲 + 檔案索引”的查詢方案。
方案通過索引機制，把隻占原始 ORC 檔案大小的 1/100,000 的 ORC 各種有效的統計資訊（min/max、字典表、bloom filter）持久化進外部資料庫，并引入Space Filling Curve算法對多列資料進行排序來提升多列資料的有序性，大幅度減少需要進入 Blink 的 ORC 資料規模，同時在 Blink SQL 中進行對 ORC 的查詢優化。
好未來批流融合實時平台在教育行業的實踐
毛祥溢 | 好未來資深資料平台工程師
- 好未來實時資料分析現狀
- 好未來實時續報數倉建設
- 好未來實時資料分析平台
- 展望與規劃
網易遊戲基于 Flink 的流式 ETL 建設
林小鉑 | Apache Flink Contributor，網易遊戲資深開發工程師
流式 ETL 是實時計算中最為基礎的應用，而在網易遊戲，由于遊戲業務疊代快導緻資料 Schema 變更頻繁，是以将複雜的計算延後到資料倉庫計算的 ELT 是更為常用的模式。建設流式 ELT 主要的挑戰是讓使用者無感覺地平滑遷移到流式 ELT，其中包括 Python UDF、HDFS 寫入優化及異常處理實踐。
網易遊戲大資料平台建設的早期建立了基于 Hadoop Streaming + Python 腳本的離線 ELT 架構，是以在 2018 -建立基于 Flink 的流式 ELT 時首要任務是提供 Python UDF，綜合考慮後實作了一套基于 Jython 的 Python UDF 架構。
流式 ELT 的瓶頸通常在 HDFS，是以流式 ELT 主要從兩個途徑優化 HDFS 寫入：一是通過資料流分區令每個 sink subtask 接收盡量少的分區的資料，進而減少打開的檔案數；二是通過以每個資料分區隻打開一個檔案并不斷 append 的形式來寫入，來減少檔案總數和 RPC 數（需配合每次 checkpoint 時同步檔案長度機制和取消檔案字首，有分鐘級别的髒讀風險）。在異常處理方面，提供基于 SideOutput 的錯誤流來分類儲存不同的錯誤碼的資料（比如遲到事件或 UDF 異常），另外使用基于 State 的 Accumulator 來記錄消息的流向，并采集到 ELK 做可視化監控。
Flink 在小米的平台化實踐
王加勝 | 小米進階軟體工程師
從2019年開始接入，Flink 在小米支撐了越來越多的業務，包括資訊流推薦、商業廣告、小米金融等重要業務，目前運作作業數已經達到上千個，極大地推動了計算的實時化，提升了資料的價值。随着應用規模的擴大，我們也遇到了越來越多的挑戰和問題，包括穩定性、易用性、運維支援方面等等。
本次分享主要從如下幾個方面進行了介紹，包括 Flink SQL 平台化的思考與實踐、遇到的業務穩定性問題以及解決思路、以及我們在提升問題排查和業務支援效率等方面做的工作。
愛奇藝實時大資料生态體系的演進
葉炜晨 | 愛奇藝技術經理，實時大資料相關業務負責人
近年來，随着資訊流推薦、線上效果廣告、實時報表和實時營運等新業務場景的出現，實時大資料成了大資料領域最重要的發展方向之一。
本次分享介紹了愛奇藝大資料團隊在基于 Flink 的實時資料生産分發、實時數倉建設、流資料服務、流批一體等領域的實踐和演進過程，以及相關的一些體系化思考。
Flink 在螞蟻搜尋千級業務場景中的應用實踐
李岩 | 螞蟻集團搜尋資料技術團隊進階技術專家
在螞蟻集團我們服務着支付、數金、保險以及廣告等多元化搜尋場景，為滿足不同場景在資料量、複雜度以及延遲性等名額上差異化需求，我們以 Flink 為核心建構了一套搜尋資料增全量一體化處理平台。本次分享主要介紹平台建設的應用實踐以及關鍵技術點，具體如下：
- 平台背景與技術挑戰
- 支援中間态共享的增全量一體化架構
- 全量計算裁剪技術
- 多業務資源共享實作
- 動态長度視窗算子
- 大比例擴散場景應對
位元組跳動基于 Flink 的 MQ-Hive 實時資料內建
李暢 | 位元組跳動資料平台大資料進階工程師
- 資料內建的挑戰
- 現有解決方案及痛點
- 基于 Flink 的 MQ-Hive 解決方案
- 未來展望
Flink 實時計算在小紅書幾個場景的應用
栾豔明 | 小紅書實時資料平台工程師
分享小紅書在推薦算法、實時數倉、風控、資料同步等場景遇到的問題和解決辦法，在此過程中我們疊代出一個可用的 SQL 平台，拆解該平台是如何服務公司内其他使用者疊代業務的以及後續我們面臨的挑戰。
貝殼的實時計算演進之路
劉力雲 | 貝殼找房大資料平台實時計算負責人
主要介紹貝殼實時計算平台的建構、實時數倉的落地，以及面向事件驅動場景的通用平台建設。貝殼實時計算緊跟業界發展，為公司各業務線的實時計算相關各種場景提供了有力的支援。
- 實時計算平台建設：為滿足公司各種業務方實時計算的需求， 我們建構了功能完善的實時計算平台 Hermes。平台支援模闆任務、場景任務以及自定義任務的開發，提供了完善的管理和監控，保障了任務的穩定、高效運作。
- 實時數倉落地：随着實時計算平台功能的不斷完善，使得實時數倉建設成為了可能。我們建構了完善的開發規範，提供了豐富的實時資料模型及建構能力，目前已經應用公司的各種實時名額、實時大屏等業務場景。
- 實時事件處理平台建設：為了滿足業務方對線上使用者行為的實時響應的需求，基于流計算的 Pandora 事件處理平台應運而生。平台将使用者行為标準化，提供了事件定義和管理、功能完善的規則引擎、靈活友善的動作觸發等能力，簡化了業務開發流程，滿足了業務方對使用者行為實時響應的需求。
- 未來發展方向：貝殼的未來實時計算會緊跟社群發展潮流，繼續做好實時計算相關基礎能力的建設，在流批一體化、事件驅動等方向繼續努力。
以上為 Flink Forward Asia 2020 線上峰會行業實踐節選，了解更多大會詳情及大會預約可點選「閱讀原文」。12月13日，全球 38+ 一線廠商，70+ 優質議題，我們在 Flink Forward Asia 線上峰會等你～
▼ FFA 2020 交流群 ▼
大會實時提問及嘉賓分享PPT都将在交流群公布～
