2、峰會技術關鍵詞詞雲
3、技術會議主題
吳斌老師（Elastic中文社群副主席）：基于流式計算平台搭建實時分析應用
李猛老師（力萌科技資料專家）：Elasticsearch 基于 Pipeline 視窗函數實作實時聚合計算
白凡老師（尚德機構資深工程師）：基于 Elasticsearch 的容器化編排實踐
劉征老師（Elastic社群布道師）：如何規劃和執行威脅狩獵
魏子珺老師（阿裡巴巴技術專家）：Elasticsearch雲原生核心建設之路
4、基于流式計算平台搭建實時分析應用（吳斌）
4.1 為什麼要面向開源進行架構設計？
輕松定制化、業務專注、低學習成本。
由于代碼公開，是以安全、合規、透明。
高度靈活性，無平台綁定。
4.2 流式計算平台架構剖析
如圖所示，流式計算平台主要由分布式消息隊列、分布式計算引擎、資料引擎三部分構成。
4.2.1 分布式消息隊列
資料采集，支援消息分發、消息緩存
高可用，削峰填谷
4.2.2 分布式計算引擎
早期：MapReduce、Storm
當下主流：Flink、Storm2.0
支援熱更新 / 彈性伸縮
計算引擎核心任務：
資料校驗（資料格式、合法性、髒資料等）
資料清洗（資料 ETL 轉換）
資料豐富（多元資料Join，以輔助資料分析）
4.2.3 資料引擎
熱資料存儲在 Elasticsearch、HBase。
其中 HBase 存儲熱資料非完全必要，除非高 IO 存儲需要引入。
一般情況下，資料的分析：Elasticsearch 就能搞定。
溫資料（超過 7天的資料）存儲選型：
1）MPP
2）Hive，GreenPlum
4.2.4 分布式存儲
雲端的對象存儲
檔案輸出、明細錯誤資料落地
快照 snapshot 等
1）資料來源（server Application）：伺服器日志、監控、業務資料采集（如使用者行為、購買記錄、社交記錄）。
2）資料發送到消息隊列 （MSG G）。
3）消息隊列資料寫入 Beam Streaming 開源驅動引擎架構。
批流一體引擎。
Beam 能驅動：Flink、Spark Stream、 Strom 去做流式資料、batch 資料處理。
4）拉取RDB業務維表與實時資料Join。
5）對有問題資料輸出到 Object 對象 / File 檔案系統備份。
6）實時資料注入 Elasticsearch。
7）高 IO 資料寫入 HBase（KV引擎）。
8）Beam Batch 批量處理。
核心Tips:
HBase + Elasticsearch 組合使用，以打車場景為例：
當打車訂單未完成時候，明細資料（實時高 IO）錄入HBase：
Session （訂單）結束後，一個打車訂單歸攏為一條資料，放到 Elasticsearch，在 ES 中做實時訂單分析、軌迹查詢、客服查詢等處理。
4.3 Elasticsearch 在流式平台中的角色功能
（1）文字檢索
日志
場景：運維、開發、測試、客服。
（2）已知資料計算
已知資料定義：Mapping是我們自定義的。
實時名額計算。
場景：固定報表、大屏展示。
（3）未知線索探索
名額計算
複雜過濾條件
adhoc 查詢
關聯性、歸因等
4.4 雲原生與k8s叢集管理經驗分享（核心）
lass / On-prem：自己部署（實體機、虛拟機）大叢集：維護更新麻煩，出錯恢複周期非常長。
Sass：運維簡單，具備彈性；缺點：細節不透明，網絡拓撲受限，入口/網關性能、靈活性差，更新麻煩。
Pass (平台服務) / K8s
（1）優點：運維簡單、yaml檔案決定部署、彈性好、獨享資源、官方operator。
（2）缺點：受限于K8s、開源版本，官方未來會推出商業版本。
推薦：基于雲托管K8s搭建ES叢集。
為 Elasticsearch 量身定制的網關産品——極限網關
極限網關特性：
轉發性能好。
支援多叢集之間資料分流、同步。
支援網關級限流。
4.5 相關資源
Elasticsearch on K8s（Elastic 中文社群維護）
https://github.com/elasticsearch-cn/elastic-on-gke/流式分析平台架構（Beam）
https://github.com/cloudymoma/raycom極限網關（持續完善中）
http://gateway.infini.sh/ https://github.com/medcl/infini-gateway