天天看點

DSW:面向AI研發的內建開發平台

釋出會傳送門 産品詳情

雲原生技術,注重使用者體驗,提升研發效率

環境搭建是算法研發過程中的重要一環,這裡除了硬體選型外,軟體環境的安裝配置,後續更新往往會耗費不少時間。DSW借助阿裡雲ECS,Docker和Kubernetes等雲原生技術,能夠在2,3分鐘内幫使用者完成環境搭建。使用者可以根據算法需要和成本考慮, 選擇阿裡雲ECS提供的包括CPU和異構計算GPU在内的所有資源規格。不僅支援預付費,還支援後付費。 DSW還配置了10多種适用于不同AI場景的典型軟體環境配置, 包括Tensorflow和PyTorch等主流訓練架構的不同版本組合,供使用者選擇。作為高度開放的開發環境,DSW開放sudo權限給使用者、支援任意第三方庫安裝。

為了滿足不同水準層次和開發習慣的算法使用者,結合可視化,互動式程式設計和指令行輸入,DSW提供了3種程式設計入口:WebIde适用于工程化要求比較高的項目;JupyterLab适用于快速POC試驗;Terminal入口可用于快速執行Shell指令,運作程式和簡單的編輯等。

DSW:面向AI研發的內建開發平台
DSW:面向AI研發的內建開發平台
DSW:面向AI研發的內建開發平台

DSW還開發和預裝了各種JupyterLab和WebIDE插件, 比如廣受深度學習開發者喜愛的可視化工具Tensorboard,使用者在DSW内通過Launcher,Commands打開,甚至還可以使用%tensorboard魔法指令直接在Notebook中開啟等多種方式使用Tensorboard。不僅支援本地檔案,還可以打開存放在OSS,ODPS裡的訓練日志。針對算法同學使用Python比較多的特點, DSW的WebIDE内安裝了Python插件, 可以直接在浏覽器内線上調試,單步跟蹤程式運作。使用者還可以根據需要,自主安裝需要的任意插件。

DSW支援多種資料源讀寫,包括NAS, OSS,雲盤和MaxCompute,尤其是内置了dswmagic魔法指令可以讓使用者在ipynb檔案中使用SQL語句讀寫MaxCompute表中資料,預置的SQL編輯器支援文法高亮、智能提示、自動補全等功能,還支援運作帶變量替換功能的Sql腳本。查詢結果自動以最友好的圖形化展示。

為了節省資源成本,使用者可以利用停機不收費功能,在執行個體閑置不用時關機儲存環境, 需要時再一鍵快速恢複。此外, DSW支援使用者自定義鏡像安裝,可以基于之前儲存或定制的環境建立執行個體。

DSW在公有雲上支援了多次百隊以上規模的天池大賽,在阿裡集團内同樣也承接着比賽,經過千錘百煉,證明不僅适合個人和團隊研發,也支援大規模算法競賽和教育教育訓練。

安全性和穩定性是使用者比較關心的問題,DSW使用的計算,存儲和網絡資源,完全是使用使用者自己的賬号購買,并部署到使用者自己的vpc内部, 可以友善與使用者其他資料打通。使用者間完全隔離,還具備非常好的安全性。基于阿裡雲ECS和容器服務, 穩定性有保障。

內建PAI的各能力元件,加速業務落地

身為PAI這個大家庭的一員, DSW除了完成單機開發訓練功能之外, 還内置部分PAI的基礎能力。比如使用者可以直接在執行個體内利用PAI視覺類算法包EasyVision進行圖像分類訓練評估、預測; 通過自動調參AutoML進行算法超參數自動調優;使用者甚至能夠無感覺的享受PAI編譯優化算法元件TAO提供的訓練過程中的算子優化。最後, DSW還提供了供算法直接讀取MaxCompute表資料的CommonIO元件,支援TableRecordDataSet, TableReader,TableWriter等标準接口,友善訓練程式直接送出到PAI的分布式訓練叢集。

可以預見,在不久的将來, 會有更多的PAI算法包内置進DSW基礎鏡像内。 DSW也會依賴PAI SDK,圍繞資料讀取,加工,模型訓練, 模型管理以及線上服務等AI研發生産流程的關鍵環節,為使用者提供像Pipeline搭建,排程和管理之類的一條龍服務。