天天看點

Flink 最佳搭檔:開發部署平台 Zeppelin 的自白

Flink 的學習者或者愛好者想必十分了解,除了需要熟悉 Flink 本身之外,如果能有一款簡單上手的 Flink 開發部署工具,不用寫前端代碼就能實作實時大屏、支援全部語言接口、支援多條 SQL,還能管理 Flink Job,這樣的開發部署平台是不是完全無法拒絕?

很幸運,Apache 社群就有這麼一款工具:Zeppelin,而且可能是開源界最好的 Flink 開發平台。

下面是 Zeppelin 和 Flink 的故事。

Zeppelin:Flink 最佳搭檔

Flink:我提供了 SQL、Java、Scala 還有 Python 等多種語言支援,不過每種語言都有自己的入口,多種語言混着用暫時無法實作。比如在 sql-client 中隻能運作 SQL,不能寫 UDF,在 Pyflink shell 裡,隻能用 Python 的 UDF,不能寫和用 scala 和 java 的 UDF。有沒有誰能幫我把這些語言全部打通?

Zeppelin:我可以!

Flink:我的一個很大的使用場景是實時大屏,但是我一個人辦不到,往往需要借助第三方存儲,還需要前端開發,有沒有誰能讓使用者不用寫前端代碼就實作實時大屏?

Flink:我的 SQL 已經很強大了,但是使用者在 sql-client 裡不能寫 comment,暫時也不支援運作多條 SQL 語句,有誰能幫我把這些功能補齊下?

Flink:好多初學者說要跑一個 Flink job 需要多種配置并且需要學習各種指令行,有沒有誰能讓大家更容易送出和管理 Flink Job。

Flink:Flink Job 送出目前隻能一個個送出,有些同學想并行執行多個 Flink Job,誰能幫我搞定這個需求?

Flink:我有豐富的 connector,使用者需要把 connector 打包到 uber jar 裡,或者 copy 到 Flink 的 Lib 下,這有可能把各種 connector jar 混在一起,容易發生沖突,有沒有誰能提供一個幹淨點的方案?

如果您也有以上的疑問和需求,那麼來了解下 Zeppelin 吧。Flink 社群邀請 Apache Zeppelin PMC 為您整理了 Zeppelin 的系列視訊教程及文章教程。您也可以加入 Flink on Zeppelin 的釘釘群來加入我們的讨論。

Flink on Zeppelin 文章教程

Flink on Zeppelin (1) - 入門篇

https://mp.weixin.qq.com/s/a6Zau9c1ZWTSotl_dMg0Xg

Flink on Zeppelin (2) - Batch篇

https://mp.weixin.qq.com/s/K9rPXqqaPuhnIT_TZN8M3w

Flink on Zeppelin (3) - Streaming篇

https://mp.weixin.qq.com/s/k_0NgJinpK0VVTXw_Jd7ag

Flink on Zeppelin (4) - 機器學習篇

https://mp.weixin.qq.com/s/ccyptHGgB_PQ0e6V8B9UKQ

Flink on Zeppelin  (5) - 進階特性篇

https://mp.weixin.qq.com/s/jZV6gua8ypqdiGPBulOw6Q

Flink on Zeppelin (6) - Recovering

https://mp.weixin.qq.com/s/D02M68HO4Te4cReIoRLMwQ

Flink on Zeppelin (7) - Yarn interpreter 模式

https://mp.weixin.qq.com/s/IgVd2hZlM2twEIHYLavaxw

Flink on Zeppelin 視訊教程

視訊内容大綱:

  • Flink on Zeppelin 0. 安裝啟動 Zeppelin
  • Flink on Zeppelin 1. 補充 Zeppelin 基本概念
  • Flink on Zeppelin 2. Local 模式
  • Flink on Zeppelin 3. 多語言支援
  • Flink on Zeppelin 4. Remote 模式
  • Flink on Zeppelin 5. Yarn 模式
  • Flink on Zeppelin 6. Interpreter bind mode (Per Note Isolated)
  • Flink on Zeppelin 7. Interpreter bind mode (Per User Isolated)
  • Flink on Zeppelin 8. Inline Configuration
  • Flink on Zeppelin 9. Hive Integration
  • Flink on Zeppelin 10. SQL 入門
  • Flink on Zeppelin 11. Streaming 資料可視化 Single 模式
  • Flink on Zeppelin 12. Streaming 資料可視化 Update 模式
  • Flink on Zeppelin 13. Streaming 資料可視化 Append 模式
  • Flink on Zeppelin 14. 連接配接 kafka 資料源
  • Flink on Zeppelin 15. Streaming ETL
  • Flink on Zeppelin 16. Scala UDF
  • Flink on Zeppelin 17. Python DUF
  • Flink on Zeppelin 18. UDF via flink.udf.jars
  • Flink on Zeppelin 19. PyFlink 入門
  • Flink on Zeppelin 20. Flink 最佳實踐1
  • Flink on Zeppelin 21. Flink 最佳實踐2
  • Flink on Zeppelin 22. Recovering
  • Flink on Zeppelin 23. Yarn Interpreter 模式

點選「

閱讀原文

」即可檢視 Flink on Zeppelin 的系列實操教程視訊~

▼ Flink on Zeppelin 技術交流釘釘群 ▼

Flink 最佳搭檔:開發部署平台 Zeppelin 的自白