本期導讀 :【OSS 通路加速】第九講
主題:Presto 如何高效查詢 OSS 資料
講師:健身,阿裡巴巴計算平台事業部 EMR 技術專家
内容架構:
- Presto 介紹
- JindoSDK 安裝
- 使用介紹
- 相關資料
直播回放連結:(9/10講)
https://developer.aliyun.com/live/246875一、Presto 介紹
Presto 介紹:SQL-on-Anything
- 為性能和規模而生
- 存儲計算分離,沒有存儲
- 最初針對 HDFS 進行設計
- 原地查詢,無需遷移資料

二、JindoSDK 安裝
1、下載下傳最新的 jar 包 jindofs-sdk-x.x.x.jar,然後在所有 Presto 節點安裝 JindoFS SDK
- 下載下傳連結: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md
- cpjindofs-sdk-${version}.jar$PRESTO_HOME/plugin/hive-hadoop2/
2、配置 JindoFS OSS 實作類
3、配置 OSS Access Key
- 請參考: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_credential_provider.md
4、 重新開機 Presto 所有服務,使配置生效
5、現在 hive catalog 即可通路 OSS
三、使用介紹
示範邏輯:
- 安裝 JindoSDK
- 配置 Presto
- 讀取鸢尾花資料集并寫入 OSS
- 從 OSS 查詢鸢尾花資料集
⭐點選回放連結,直接觀看第9/10講視訊回放,擷取講師執行個體講解:
四、相關資料
- 下載下傳JindoFS SDK:
- Presto 使用 JindoSDK: https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindosdk_on_presto.md
⭐Github連結:
https://github.com/aliyun/alibabacloud-jindofs不錯過每次直播資訊、探讨更多資料湖 JindoFS+OSS 相關技術問題,歡迎掃碼加入釘釘交流群!