天天看點

訓練千億參數模型的法寶,昇騰CANN異構計算架構來了~

摘要:盤古的訓練以「昇騰AI處理器」為基座,同時借助了「CANN 異構計算架構」,讓硬體算力得以充分釋放,大大縮短了訓練時間!

2021年4月,“華為雲盤古大模型”一炮走紅AI人工智能領域。

如果你問:明明明明明白白白喜歡他,但他就是不說,白白喜歡誰?

你的同伴可能還要猶豫3秒鐘,而盤古卻能輕松地回答出:明明!

諸如此類的「中文同詞不同義」的快速語義識别也僅僅是它的雕蟲小技而已。

領先的語言了解和模型生成能力,這個大網紅瞬間被貼上了“最接近人類中文了解能力”、“全球最大中文語言(NLP)預訓練模型”各類标簽。

标簽不是白帖的,在AI領域,大智慧就意味着大模型,他背後的“千億參數”、“TB 級記憶體模型”絕對是他成功的法寶!

模型大,意味着資料也大,你想到如何訓練出這樣大的模型了麼?

盤古的訓練以「昇騰AI處理器」為基座,同時借助了「CANN 異構計算架構」,讓硬體算力得以充分釋放,大大縮短了訓練時間!

什麼是CANN?

以提升使用者開發效率和釋放昇騰AI處理器極緻算力為目标,昇騰CANN(Compute Architecture for Neural Networks)是華為針對AI場景推出的異構計算架構。它對上支援業界主流前端架構,向下對使用者屏蔽系列化晶片的硬體差異,以豐富的軟體棧功能滿足使用者全場景的人工智能應用訴求。

訓練千億參數模型的法寶,昇騰CANN異構計算架構來了~

目前CANN已經釋出到3.0的版本,統一程式設計架構,同時支援推理+訓練的端、邊、雲全量場景,實作三大使能。

使能全場景:通過支援業界主流AI架構,支援14+種主流作業系統,實作一次開發,全場景各種硬體形态和運作環境的靈活部署。

使能極簡開發:通過統一程式設計接口AscendCL(Ascend Computing Language),為開發者屏蔽底層處理器的差異,支援開發者隻需要掌握一套API,就可以全面應用于昇騰全系列晶片+推理、訓練全場景。

使能極緻性能:通過軟硬協同優化,親和昇騰的圖編譯技術,以及超過1200個高性能算子,來釋放昇騰晶片的澎湃算力。

訓練千億參數模型的法寶,昇騰CANN異構計算架構來了~

CANN的開放能力:

CANN為開發者提供算子開發、模型開發、應用開發的全流程開發體驗,可覆寫全場景應用。

    • 算子開發
      • DSL語言開發接口:提供了一套基于記憶體的開發接口,處理器上的指令映射和排程是自動實作的。開發者僅需要關注算子的數學邏輯計算,不需要了解硬體細節,即可開發出高性能的算子。根據統計可以滿足60%以上算子開發需求。
      • TIK語言開發接口:提供了一套比較完備的基于處理器内部Buffer可見的程式設計語言,開發者可以自行決定搬進搬出資料量的大小,進而充分發揮晶片的能力,提升開發算子的性能。
    • 模型開發
      • 支援多種模型開發架構MindSpore,TensorFlow, PyTorch, ONNX 等
      • 支援通過标準化的Ascend IR(Intermediate Representation)接口隔離上層架構差異,進行直接構圖和模型開發
    • 應用開發
      • 提供一套标準的AscendCL程式設計接口,提升使用者APP程式設計效率

CANN的硬核技術:

    • 高性能算子庫:支援包括TensorFlow、Pytorch、Mindspore、Onnx架構在内1200+算子,開發者直接基于内置算子即可開發模型。
    • 自動融合技術: 支援基于算子、子圖、SCOPE多元度的自動融合,支援動态DSL融合,可有效減少計算節點,縮短計算時間,讓昇騰AI處理器瞬間加速。
訓練千億參數模型的法寶,昇騰CANN異構計算架構來了~
    • 異構部署排程架構:充分利用昇騰晶片的異構執行單元,将不同的計算任務配置設定給最合适的計算引擎,高效協同異步流水,提升計算任務整體效率。
    • 高效的記憶體生命周期管理算法:兼顧記憶體的充分複用以及資料交換的效能,實作資源與效率的均衡。
    • 預置的業界主流模型庫:華為昇騰Model Zoo提供100+主流模型的代碼以及相應的調優參數example,為開發者提供貨架式的參考實作,詳細資訊參見:https://www.hiascend.com/software/modelzoo
    • 高性能的圖下沉執行架構:将所有計算下沉到晶片,減少Host CPU與晶片之間的互動時間,實作高性能的訓練和推理。
    • 高性能動态圖排程:支援基于異步流水的單算子執行架構,支援靈活的H2D、D2H互動,解決PyTorch等架構下動态圖模式的高性能運作問題。
    • 業界領先的智能調優:支援基于強化學習、遺傳算法、CostModel等多種智能調優算法,提供算子級或者圖級調優選擇,為使用者提供自動的極緻性能調優體驗。

CANN的5.0版本會給你帶來更多想象,了解更多資訊,請通路昇騰社群。

點選關注,第一時間了解華為雲新鮮技術~

繼續閱讀