天天看點

AI降成本利器!阿裡雲彈性加速計算執行個體來了,最高節省50%推理成本

AI降成本利器!阿裡雲彈性加速計算執行個體來了,最高節省50%推理成本

人工智能推理場景下,EAIS.EI讓使用者可以自定義GPU算力規模。據介紹,該産品可節省最高達50%的推理業務成本,目前EAIS.EI執行個體支援Tensorflow、Pytorch等主流深度學習架構,最高支援FP32 19.5 TFlops、FP16 混合精度312 TFlops的運算。

釋出會傳送門 産品詳情

無論你是在逛淘寶還是刷抖音,人工智能都在背後瘋狂計算,短視訊推薦、拍照AI美顔,就連點外賣,人工智能都在幫外賣小哥優化路線。

人工智能崛起的燃料之一,就是跟通用處理器CPU有着不同專長的GPU異構加速器。在計算能力方面,如果說CPU是通才,GPU就是專才,非常擅長深度學習和圖像處理,是以在人工智能、直播和短視訊火熱的今天大放異彩。

然而,不同的深度學習應用所需要的CPU、GPU和記憶體等計算資源的比例并非完全一樣,雲伺服器受限于規格,往往隻有特定數個比例。在某些情況下,就會造成資源閑置,尤其在推理場景中尤為明顯。深度學習應用分為訓練和推理兩個過程,推理計算需求由于跟業務量緊密相關,往往是總營運成本的大頭,最高占到90%成本。

EAIS為客戶提供了一個異構算力池,使用者可以将需要的GPU資源附加到任何一款阿裡雲ECS伺服器中,根據不同應用需求靈活優化CPU/記憶體與GPU之間的比例,比對适合的資源組合,有效提升資源使用率。

另外,AI推理計算業務通常伴随着業務的周期性的峰谷變化,EAIS.EI執行個體配合彈性伸縮ESS快速感覺業務變化,實作高效的業務運維,提升業務彈性。資源的精準組合加上雲服務的彈性,将大大降低成本。

阿裡雲異構計算産品負責人透露,除了推理場景之外,未來,彈性加速計算執行個體還将覆寫圖形圖像與多媒體計算編碼場景,甚至實作含光800與CPU/記憶體的解耦。

彈性加速計算執行個體,将與神龍AI加速器和cGPU容器技術,一起組成阿裡雲異構計算的三大特色優勢,為使用者提供靈活高效、性能超群的異構計算基礎設施。

繼續閱讀