Flink 的學習者或者愛好者想必十分了解,除了需要熟悉 Flink 本身之外,如果能有一款簡單上手的 Flink 開發部署工具,不用寫前端代碼就能實作實時大屏、支援全部語言接口、支援多條 SQL,還能管理 Flink Job,這樣的開發部署平台是不是完全無法拒絕?
很幸運,Apache 社群就有這麼一款工具:Zeppelin,而且可能是開源界最好的 Flink 開發平台。
下面是 Zeppelin 和 Flink 的故事。
Zeppelin:Flink 最佳搭檔
Flink:我提供了 SQL、Java、Scala 還有 Python 等多種語言支援,不過每種語言都有自己的入口,多種語言混着用暫時無法實作。比如在 sql-client 中隻能運作 SQL,不能寫 UDF,在 Pyflink shell 裡,隻能用 Python 的 UDF,不能寫和用 scala 和 java 的 UDF。有沒有誰能幫我把這些語言全部打通?
Zeppelin:我可以!
Flink:我的一個很大的使用場景是實時大屏,但是我一個人辦不到,往往需要借助第三方存儲,還需要前端開發,有沒有誰能讓使用者不用寫前端代碼就實作實時大屏?
Flink:我的 SQL 已經很強大了,但是使用者在 sql-client 裡不能寫 comment,暫時也不支援運作多條 SQL 語句,有誰能幫我把這些功能補齊下?
Flink:好多初學者說要跑一個 Flink job 需要多種配置并且需要學習各種指令行,有沒有誰能讓大家更容易送出和管理 Flink Job。
Flink:Flink Job 送出目前隻能一個個送出,有些同學想并行執行多個 Flink Job,誰能幫我搞定這個需求?
Flink:我有豐富的 connector,使用者需要把 connector 打包到 uber jar 裡,或者 copy 到 Flink 的 Lib 下,這有可能把各種 connector jar 混在一起,容易發生沖突,有沒有誰能提供一個幹淨點的方案?
如果您也有以上的疑問和需求,那麼來了解下 Zeppelin 吧。Flink 社群邀請 Apache Zeppelin PMC 為您整理了 Zeppelin 的系列視訊教程及文章教程。您也可以加入 Flink on Zeppelin 的釘釘群來加入我們的讨論。
Flink on Zeppelin 文章教程
Flink on Zeppelin (1) - 入門篇
https://mp.weixin.qq.com/s/a6Zau9c1ZWTSotl_dMg0XgFlink on Zeppelin (2) - Batch篇
https://mp.weixin.qq.com/s/K9rPXqqaPuhnIT_TZN8M3wFlink on Zeppelin (3) - Streaming篇
https://mp.weixin.qq.com/s/k_0NgJinpK0VVTXw_Jd7agFlink on Zeppelin (4) - 機器學習篇
https://mp.weixin.qq.com/s/ccyptHGgB_PQ0e6V8B9UKQFlink on Zeppelin (5) - 進階特性篇
https://mp.weixin.qq.com/s/jZV6gua8ypqdiGPBulOw6QFlink on Zeppelin (6) - Recovering
https://mp.weixin.qq.com/s/D02M68HO4Te4cReIoRLMwQFlink on Zeppelin (7) - Yarn interpreter 模式
https://mp.weixin.qq.com/s/IgVd2hZlM2twEIHYLavaxwFlink on Zeppelin 視訊教程
視訊内容大綱:
- Flink on Zeppelin 0. 安裝啟動 Zeppelin
- Flink on Zeppelin 1. 補充 Zeppelin 基本概念
- Flink on Zeppelin 2. Local 模式
- Flink on Zeppelin 3. 多語言支援
- Flink on Zeppelin 4. Remote 模式
- Flink on Zeppelin 5. Yarn 模式
- Flink on Zeppelin 6. Interpreter bind mode (Per Note Isolated)
- Flink on Zeppelin 7. Interpreter bind mode (Per User Isolated)
- Flink on Zeppelin 8. Inline Configuration
- Flink on Zeppelin 9. Hive Integration
- Flink on Zeppelin 10. SQL 入門
- Flink on Zeppelin 11. Streaming 資料可視化 Single 模式
- Flink on Zeppelin 12. Streaming 資料可視化 Update 模式
- Flink on Zeppelin 13. Streaming 資料可視化 Append 模式
- Flink on Zeppelin 14. 連接配接 kafka 資料源
- Flink on Zeppelin 15. Streaming ETL
- Flink on Zeppelin 16. Scala UDF
- Flink on Zeppelin 17. Python DUF
- Flink on Zeppelin 18. UDF via flink.udf.jars
- Flink on Zeppelin 19. PyFlink 入門
- Flink on Zeppelin 20. Flink 最佳實踐1
- Flink on Zeppelin 21. Flink 最佳實踐2
- Flink on Zeppelin 22. Recovering
- Flink on Zeppelin 23. Yarn Interpreter 模式
點選「
閱讀原文」即可檢視 Flink on Zeppelin 的系列實操教程視訊~
▼ Flink on Zeppelin 技術交流釘釘群 ▼
