天天看點

新場景 + 新應用,Flink 在機器學習領域的生産落地

人工智能與機器學習被稱為未來十大科技之一。随着全球移動網際網路和物聯網的發展,機器學習和 AI 相關技術的應用範圍越來越廣,而這背後都離不開資料與算力的強大支撐。企業如何借助 Apache Flink 強大算力為機器學習應用賦能?業界有哪些 Flink 機器學習的落地實踐?

新場景 + 新應用,Flink 在機器學習領域的生産落地

12月13日-15日,Flink Forward Asia 2020 機器學習專場,聚焦 Apache Flink 在機器學習領域的新技術、新場景、新應用。大會邀請了來自微網誌、小米、bilibili、阿裡巴巴、英特爾等多位一線技術專家,分享 Flink 機器學習的具體應用實踐與實戰案例。

▼ 掃碼了解完整大會議程 ▼

新場景 + 新應用,Flink 在機器學習領域的生産落地
(大會官網)

Alink 在微網誌機器學習平台中的實踐

高霖 | 新浪微網誌資深算法工程師

微網誌機器學習平台介紹

Alink 在微網誌的應用場景

Alink 在微網誌機器學習平台中的實踐經驗和改進

Flink 在小米廣告業務中的實踐

王曦偉 | 小米線上廣告業務特征平台、實時化平台負責人

本次分享主要向大家介紹小米廣告算法實時化體系的基本設計,以及 Flink 在這一體系上的應用場景和實踐經驗。

Apache Flink 在 bilibili 的多元化探索與實踐

鄭志升 | bilibili 大資料實時平台負責人

bilibili 實時體系從17年底雛形開始的實時傳輸架構(基于 Flume)和實時計算架構(Spark Streaming),逐漸演進至目前基于 Flink 建構而起的一整套完善的實時平台。曆經3年的技術沉澱,傳輸平台随着體量逼近萬億規模,出現了很多基于 Flume 無法很好根治的痛點,例如導入資料無法滿足準實時查詢要求,以及不同資料流傳輸鍊路中的隔離要求,而基于 Flink 的流式分發架構很好地解決這些問題。

而計算平台則針對早期過高的個性化定制程式設計模式提供了一套通用的 BSQL 方案,廣泛應用于實時數倉、報表、BI 分析、AI 工程等領域,特别是 AI 方向重點突破解決了流批場景統一的特征計算工程。

本次分享核心講解萬億級傳輸分發架構的落地,以及 AI 領域如何基于 Flink 打造一套完善的預處理實時 Pipeline。更多内容詳見本次分享。

· B站實時的前世與今生

· 萬億級資料分發架構的落地

· 模型訓練預處理 Pipeline 的實時化

· 未來的展望與思考

Alink 使機器學習應用更簡單

楊旭 | 阿裡巴巴資深算法專家

Alink 是在去年的Flink Forward Asia上宣布開源的。在過去的一年中,Alink仍在快速疊代發展中,推出了2個大版本和4個小版本。

在本次分享中,着重介紹在易用性方面的工作,簡化安裝過程、解決常見的問題;提升使用體驗,在參數檢查方面更加智能;支援 Kafka 資料源、Hive 資料源;支援多檔案系統;推出 AK 格式讀取、導出元件,簡化檔案資料的操作;支援模型資訊摘要、輸出等。

基于 Flink 的線上機器學習系統架構探讨

秦江傑 | Apache Flink & Kafka PMC Member,阿裡巴巴 Flink 生态團隊負責人

陳戊超 | 阿裡巴巴技術專家

近年來随着機器學習的廣泛應用,傳統的離線機器學習在包括推薦、搜尋、廣告等場景下逐漸被實時機器學習的架構所替代,形成了機器學習實時化的趨勢,在此過程中 Flink 扮演了越來越重要的作用。本演講從機器學習工程的角度出發,對以下問題進行探讨:

1、如何從傳統離線機器學習架構遷移到線上離線融合的機器學習架構?

2、Flink 的流批統一,支援 retraction 的機制在實時機器學習架構中有何優勢?

3、如何整合并簡化機器學習應用的開發部署。

聽衆将了解 Flink AI 的發展方向以及如何基于 Flink 搭建一個線上機器學習系統。

Cluster Serving: Distributed and Automated Model Inference on Big Data Streaming Frameworks

宋佳明 | 英特爾機器學習工程師

随着深度學習在生産環境的應用,大規模深度學習、實時分布式推理的需求不斷增加,為了滿足機器學習 Pipeline 中對極低延遲模型服務的需求,我們開發了叢集服務:英特爾 Analytics Zoo 自動分布式服務解決方案。

在本次分享中,我們将介紹 Cluster Serving 如何利用 Flink 的流式 Runtime、低延遲、高吞吐的優勢,Cluster Serving 的架構設計和底層設計,以及如何部署和管理分布式深度學習模型,并分享生産環境中使用大資料和統一資料處理的案例。

除此之外,本次分享還将介紹如何使用群集服務輕松內建 Flink 運算符,以及如何在 Flink 新功能“Stateful Function”實作更靈活的服務。

以上為 Flink Forward Asia 2020 線上峰會機器學習專場内容節選,了解更多大會詳情及大會預約可點選「閱讀原文」。12月13日,全球 38+ 一線廠商,70+ 優質議題,我們在 Flink Forward Asia 線上峰會等你~

▼ FFA 2020 交流群 ▼

大會實時提問及嘉賓分享PPT都将在交流群公布~

ffa 交流群

新場景 + 新應用,Flink 在機器學習領域的生産落地