華為盤古大模型是一款直接對标ChatGPT的多模态千億級大模型産品，名為“盤古Chat”。預計華為盤古Chat将于今年7月7日舉行的華為雲開發者大會 （HDC.Cloud 2023） 上對外釋出以及内測，産品主要面向To B/G政企端客戶。
此外，華為雲還釋出了盤古系列超大規模預訓練模型，包括30億參數的全球最大視覺（CV）預訓練模型，以及與循環智能、鵬城實驗室聯合開發的千億參數、40TB訓練資料的全球最大中文語言（NLP）預訓練模型5。這些預訓練大模型可以實作一個AI大模型在衆多場景通用、泛化和規模化複制，減少對資料标注的依賴，并使用ModelArts平台，讓AI開發由作坊式轉變為工業化開發的新模式。
盤古大模型是一個涵蓋了多個領域的超大規模預訓練模型系列，包括自然語言處理（NLP）、計算機視覺（CV）、多模态、科學計算等方向。
盤古大模型的目标是通過預訓練，提高AI模型的泛化能力和智能水準，降低AI開發的門檻和成本，加速AI在各行各業的落地應用。
盤古大模型的應用場景包括智能客服、機器翻譯、語音識别、工業質檢、物流倉庫監控、時尚輔助設計、智能文檔檢索、智能ERP、小語種大模型、氣象預報、海浪預測等領域。
盤古大模型的優勢在于其規模、結構和效果。
- 規模：盤古大模型擁有千億級别的參數量，是目前全球最大的中文NLP預訓練模型，也是全球最大的CV預訓練模型，以及全球首個圖文音三模态大模型。
- 結構：盤古大模型采用了創新的網絡架構設計，如深度殘差網絡（DRN）、多頭注意力機制（MHA）、自适應注意力機制（AAN）等，提高了并行優化效率和計算性能。
- 效果：盤古大模型在多個公開資料集和行業資料集上均取得了領先的結果，如在ImageNet上小樣本學習能力達到業界第一，在氣象預報上精度超過傳統數值方法，速度提升1000倍等。
盤古大模型的技術細節主要包括以下幾個方面：
網絡架構：盤古大模型采用了創新的網絡架構設計，如深度殘差網絡（DRN）、多頭注意力機制（MHA）、自适應注意力機制（AAN）等，提高了并行優化效率和計算性能。
資料規模：盤古大模型使用了海量的資料進行預訓練，如中文語言大模型使用了超過40TB的文本資料，視覺大模型使用了超過10億張圖像資料，氣象大模型使用了超過100TB的氣象資料等。
預訓練方法：盤古大模型采用了不同的預訓練方法，針對不同的領域和場景，如自然語言處理（NLP）使用了Encoder-Decoder架構，兼顧語言了解和生成能力；計算機視覺（CV）使用了全局對比度自監督學習方法，提高了小樣本學習能力；多模态使用了圖文音三模态融合技術，提高了跨模态了解和生成能力；科學計算使用了圖網絡融合技術，提高了科學問題求解能力等。
模型抽取和蒸餾：盤古大模型通過模型抽取和蒸餾技術，可以根據不同的應用需求，自适應地抽取不同規模的模型，并保持較高的精度。例如，視覺大模型可以根據不同的圖像分辨率和運作速度需求，抽取不同大小的模型，并在ImageNet上達到業界第一的小樣本學習能力。