天天看點

MaxCompute2.0更新對資料倉庫教學的影響

因為之前在學校授課過程中講授資料倉庫課程時是通過MaxCompute來進行講解的,是以針對這次MaxCompute2.0的更新,在我在教學中也對課程内容同樣進行了更新,這裡針對主要的更新點進行一些說明。

針對資料科學與大資料技術專業的學生來說,資料倉庫應該算是他們必須要掌握的技能之一,而開源資料倉庫環境搭建對本地系統要求很高,同時企業中關注的也不是環境搭建而是基于資料倉庫的資料分析和資料處理,是以在這門課程的設計中,我們通過使用MaxCompute來替代本地搭建Hive作為學生的學習和實驗環境,以保證所有學生都能夠有一個穩定的實驗環境。

本次更新影響相對比較大的點主要有:

  1. 開發環境與生産環境的問題,因為之前版本中開發環境和生産環境并沒有這次這麼明确的區分,是以更新後很多學生在學習和使用時發現找不到自己建立的表,原因就是沒有注意查找的是開發環境還是生産環境。當然明确區分開發和生産環境這是很好的設計,但是建議在相對更明顯的地方提供切換開發生産環境的按鈕與辨別,友善使用者來檢視與切換。
  2. 新增業務流程和解決方案:業務流程與之前的工作流功能類似,算是一個更新版,節點圖示優化的比較好,友善檢視和管理,而且可以很友善的通過解決方案檢視和導入機器學習PAI中準備好的算法模型

因為在授課中主要講解資料倉庫的基礎知識,以及讓學生基于現有系統自行設計資料倉庫各層的架構,并完成ETL,是以通過MaxCompute的流程管理就很容易直覺的讓學生感受到處理過程。