【月刊】E-MapReduce 2021-11 産品月刊

【E-MapReduce 2021年 11月刊】

  為您帶來11月産品、技術最新動态，歡迎閱讀！

• 重要功能
• 版本釋出
• 産品文檔更新
• 11月精選文章推薦

⭐更多EMR相關資訊，歡迎前往EMR産品詳情頁：

https://www.aliyun.com/product/emapreduce

1. EMR Studio Beta版上線，為使用者提供一站式資料開發服務 前往了解>>
2. EMR ClickHouse獨立叢集公測釋出
3. 前往EMR控制台， 功能體驗>>

釋出日期	版本	更新内容
服務	變更點
2021.11月	EMR-5.4.1	SmartData	更新SmartData至3.7.3版本，詳情請參見 SmartData 3.7.x版本簡介 。
Oozie	修複了HA情況下Oozie的Jetty Server依賴JAR包沖突，導緻Jetty Server無法啟動的問題。
Impala	修複了查詢DLF中繼資料表時提示 no such method error 的問題。
DLF-Auth	更新DLF-Auth至1.0.1版本。
	EMR-3.38.1
Spark	移除了無效配置Log4j MetricsAppender。 修複了SparkContext啟動過程中空指針異常的問題。
Presto	修複了Hadoop高可用叢集，Presto需要配置host才能查詢Hive表的問題。 修複了記憶體較小時，預設配置下Presto無法啟動的問題。 修複了修改worker-jvm配置無法生效的問題。 支援Ranger。
	修複了查詢DLF中繼資料表時，提示 no such method error
Ranger	支援Presto。 修複了Ranger Spark insert ORC和PARQUET表的權限問題。 修複了Ranger Hive role權限在開啟Kerberos後無法生效的問題。
	支援DLF權限，可以控制Presto權限。 修複了RAM使用者緩存的問題。

時間	特性	類别	描述	産品文檔
2021.11.08	技術支援	更新功能	介紹EMR産品技術支援服務的範圍、支援方式和服務SLA。
2021.11.17		新增功能	介紹如何開啟DLF-Auth權限。
2021.11.25	産品簡介		介紹EMR-5.4.1和EMR-5.4.0發行版本的釋出日期和更新内容等資訊。	EMR-5.4.x版本說明
			介紹EMR-3.38.1和EMR-3.38.0發行版本的釋出日期和更新内容等資訊。	EMR-3.38.x版本說明

運維管理指南：

• 叢集管理--叢集類型
• 叢集管理--叢集規劃--Gateway執行個體說明
• 叢集管理--叢集規劃--ECS執行個體說明
• 叢集管理--叢集規劃--本地盤機型概述
• 叢集管理--叢集配置-- 建立叢集
• 叢集管理--叢集配置--角色授權
• 叢集管理--叢集配置--管理安全組
• 叢集管理--服務管理-- 重新開機服務
• 叢集管理--服務管理--復原配置
• 叢集管理--服務管理--檢視元件部署資訊
• 叢集管理--服務管理--通路Web UI
• 叢集管理--叢集運維--建立彈性伸縮機器組
• 叢集管理--叢集運維--擴容磁盤
• 叢集管理--叢集管理常見問題
• 叢集管理--中繼資料管理--Hive中繼資料遷移
• 叢集管理--中繼資料管理--中繼資料管理常見問題

EMR開發指南：

• 資料開發工作台
• EMR Studio
• 元件操作指南--ClickHouse

EMR on ACK：

• 元件操作指南--Presto 篇--配置連接配接器
• 元件操作指南--Spar--使用日志服務收集Spark作業日志

最佳實踐

• 通過Presto查詢RDS MySQL資料庫

【客戶案例】

• 百草味基于“ EMR+Databricks+DLF ”建構雲上資料湖的最佳實踐
• 如何建構雲原生的開源大資料平台 | InMobi 基于阿裡雲開源大資料服務的最佳實踐
• 如何建構雲原生的開源大資料平台 | 微淼基于阿裡雲大資料生态的應用實踐

【資料湖系列】

• 資料湖建構與計算
• 企業級資料湖最佳實踐

【ClickHouse 系列】

https://developer.aliyun.com/article/810860 https://developer.aliyun.com/article/810860 https://developer.aliyun.com/article/810860

基于 EMR OLAP 的開源實時數倉解決方案之 ClickHouse 事務實作

【ClickHouse 技術系列】- 在 ClickHouse 中處理實時更新 https://developer.aliyun.com/article/826545

【ClickHouse 技術系列】- 使用新的 TTL move，将資料存儲在合适的地方

【ClickHouse 技術系列】- 在 ClickHouse 物化視圖中使用 Join

【ClickHouse 技術系列】- ClickHouse 聚合函數和聚合狀态

【ClickHouse 技術系列】- ClickHouse 中的嵌套資料結構

歡迎加入EMR交流群，為您提供最新的産品直播、産品活動及技術支援！

我們會在釘釘群定期推送精彩案例，邀請更多技術大牛直播分享。歡迎有興趣的同學掃下方二維碼加入釘釘群進行交流和技術分享。關注公衆号，鎖定每周精彩分享内容！