開發者學堂課程【《實時數倉入門課程》：實時計算 Flink 版總體介紹】學習筆記，與課程緊密聯系，讓使用者快速學習知識。
課程位址：
https://developer.aliyun.com/learning/course/807/detail/13885實時計算 Flink 版總體介紹
内容簡介：
一、大資料計算正從“規模化”走向“實時化”
二、Apache Flink：從流開啟的大資料實時計算引擎
三、實時計算 Flink 産品在阿裡巴巴的發展曆程
四、實時計算 Flink 版總體産品架構
五、實時計算 Flink 版的優勢
六、實時計算 Flink 版-産品解決方案
七、實時計算 Flink 版标杆客戶-百家全球知名企業
例如：淘寶在電商的交易下，實時化得根據使用者的行為進行推薦。在前幾十秒中浏覽的商品，會在後續猜測你的興趣，為你推薦你感興趣的商品，等等。
流式場景
事件驅動應用、流批分析、資料管道 &ETL
正确性保證
Exactly-once、事件時間處理、延遲事件處理
分層 API
流批一緻的 SQL、DataSteam API、ProcessFunction、
（Time&State）
運維增強
靈活部署、高可用、運作快照
大規模計算
水準擴充架構、支援超大狀态、增量檢查點機制
性能卓越
低延遲、高吞吐、記憶體計算
2016~2017
發源于搜尋推薦
·阿裡集團最核心業務場景
·雙 11 實時推薦提升 GMV
·初露鋒芒
2017~2018
開始服務全集團
·阿裡集團實時資料業務
·雙 11 GWV 大屏秒級更新
·集團内部平台化
2018~2019
公共雲上線
·基于 Flink 的實時計算産品
·開始服務标杆客戶
·阿裡雲對外産品化
2019~2020
收購 Flink 創始公司
·收購 Flink 創始公司 Ververica
·成為 Flink 社群最大推動者
·全球最強 Flink 團隊會師
2020~2021
業界事實标準
·全球主流IT公司全面采用 Flink
·全球主流雲廠商推出 Flink 産品
·Flink 成為實時計算領域事實标準
平台
一站式企業級 Flink 開發運維平台
SQL/lava/Python 多語言開發，Job 全生命周期管理，OIDC&RBAC 企業級安全，AutoPilot智能調優，OpenAPI&SDK，Prometheus 全鍊路監控報警
引擎
企業級高性能 Flink 計算引擎
高性能狀态存儲引擎，SQL 算子深度優化，大規模排程優化，Checkpoint 無縫對接 OSS，Connector 無縫對接主流資料源，網絡傳輸與流控優化，Apache Flink
底座
Cloud Native
Serverless，全托管，容器化
開發
1.資料連接配接：
·可與阿裡雲主流資料産品無縫內建，包括主流資料庫，消息隊列和日志服務等
·可按需自定義 Connector 對接各種外部存儲系統
2. 任務開發：
·多語言支援：一站式開發管理平台，包括
SQL/Java/Scala/Python 語言
·中繼資料：内置統一進制資料管理，并可無縫對接外部中繼資料系統（MySQL/Hive 等）
·函數庫：内置多個領域函數庫（比如Analytics Zoo cluster serving），并可按需自定義函數
3. 代碼調試：
·測試資料管理：支援線上采樣和 Mock 測試資料管理，友善建構測試流程
·快速運作測試：基于 Session 叢集實作作業秒級啟停，大幅提高作業測試效率
·開發生産隔離：開發測試過程不影響生産作業和資料。
運維
1. 監控告警：
·豐富的名額監控和次元聚合，便于作業延遲、資料傾斜、反壓等問題排查
·通過釘釘、郵件、短信及時告警，并可對接企業内部統一告警系統（prometheus、graphite 等）
2. 智能診斷調優：
·智能診斷：及時發現作業問題并給出合理的該進建議
·智能調優：無人值守自動流控并調整作業資源配置設定，順利度過業務流量洪峰
3. 細粒度資源：
支援算子級别的精細化資源配置（CPU/Mem），大規模作業資源使用率提高100%+
4. 高可用保障：
·原廠運維服務兜底，SLA99.9% 保證
·全鍊路自動容錯能力，系統無單點
成本
1. 彈性擴縮容：
可根據業務負載智能擴縮容，保障業務時效性同時無資源浪費。
2. 付費類型：
使用者可根據自身業務特點，選擇包年包月或者按量付費。
3. 核心性能：
Nexmark 流計算标準測試性能是開源 Flink 的 3 倍。
安全
1. 空間隔離：
支援租戶級和項目級的資源和代碼隔離，滿足跨團隊協作需求。
2. 通路控制：
與阿裡雲賬号體系打通，支援 OIDC 身份認證标準協定、支援基于角色的通路控制（RBAC）。
實時數倉
·PV/UV 統計
·商品銷量統計
·交易資料統計
·..........
實時推薦
·短視訊推薦
·資訊推薦
·商品推薦
·.......
實時 ETL
·資料庫->資料庫
·資料庫->數倉
·日志->數倉
實時監控
·商業反作弊
·異常事件檢測
·名額監控
·......
實時計算 Flink 版總體介紹|學習筆記