天天看點

資料湖實操講解【OSS 通路加速】第九講:Presto 如何高效查詢 OSS 資料

本期導讀 :【OSS 通路加速】第九講

主題:Presto 如何高效查詢 OSS 資料

講師:健身,阿裡巴巴計算平台事業部 EMR 技術專家

内容架構:

  • P​resto 介紹
  • JindoSDK 安裝
  • 使用介紹
  • 相關資料

直播回放連結:(9/10講)

https://developer.aliyun.com/live/246875

一、Presto 介紹

Presto 介紹:SQL-on-Anything

  • 為性能和規模而生
  • 存儲計算分離,沒有存儲
  • 最初針對 HDFS 進行設計
  • 原地查詢,無需遷移資料
資料湖實操講解【OSS 通路加速】第九講:Presto 如何高效查詢 OSS 資料

二、JindoSDK 安裝

1、下載下傳最新的 jar 包 jindofs-sdk-x.x.x.jar,然後在所有 Presto 節點安裝 JindoFS SDK

2、配置 JindoFS OSS 實作類

資料湖實操講解【OSS 通路加速】第九講:Presto 如何高效查詢 OSS 資料

3、配置 OSS Access Key

4、 重新開機 Presto 所有服務,使配置生效

5、現在 hive catalog 即可通路 OSS

三、使用介紹

示範邏輯:

  • 安裝 JindoSDK
  • 配置 Presto
  • 讀取鸢尾花資料集并寫入 OSS
  • 從 OSS 查詢鸢尾花資料集

⭐點選回放連結,直接觀看第9/10講視訊回放,擷取講師執行個體講解:

四、相關資料

⭐Github連結:

https://github.com/aliyun/alibabacloud-jindofs

不錯過每次直播資訊、探讨更多資料湖 JindoFS+OSS 相關技術問題,歡迎掃碼加入釘釘交流群!

資料湖實操講解【OSS 通路加速】第九講:Presto 如何高效查詢 OSS 資料