大模型需要大算力。
大模型的“湧現”還在持續。
5月底舉行的中關村論壇上，有專家披露，中國10億級參數規模以上的大模型已經釋出了79個，剛剛結束的世界人工智能大會上，又有一批大模型批量釋出。
大模型的熱度居高不下，世界人工智能大會甚至還設定了一個“邁向通用人工智能”主題的展區，集中展示國内外總計30多款大模型。
我們看到的大模型“湧現”是表面，背後到底是什麼促成了大模型的“湧現”呢？
昇騰人工智能産業高峰論壇上，科大訊飛進階副總裁、認知智能全國重點實驗室主任胡國平現場示範了星火大模型的各項能力，由星火大模型再進行延伸，算力底座的支撐作用成為大模型競争的焦點。
01
後發先至，星火大模型擠進第一陣營
不得不說，科大訊飛的嗅覺還是很敏銳的。
OpenAI去年11月30日釋出ChatGPT後僅僅15天（12月15日），科大訊飛就啟動了“1+N”認知智能大模型的專項攻關，5個多月後（5月6日），星火認知大模型正式釋出，一個月後的6月9日，星火認知大模型V1.5釋出。
根據科大訊飛的計劃，今年内星火大模型還将有兩次重大更新，分别是：
8月15日，代碼能力更新以及多模态互動能力提升；
10月24日，實作通用模型對标ChatGPT，中文超越ChatGPT的目前版本，英文能做到相當水準，并在教育、醫療等領域做到業界領先。
一個值得關注的點，與其他大模型有所不同，星火認知大模型采用“1+N”的架構，其中“1”指的是通用認知智能大模型，“N”就是大模型在垂直領域的落地。
根據胡國平的分享，目前星火大模型已經在教育、辦公、汽車、醫療、工業等領域落地，在多個行業場景實作了從0到1的創新應用。
光說不練假把式，星火大模型的實際表現到底如何，我們一起來看看胡國平的現場示範。
首先測試的是星火大模型的文本生成能力，胡國平出了一個“用詩歌的方式暢想通用人工智能實作後的世界”的任務，大模型随即給出回答——“通用人工智能來臨日，世界改變如風起，智慧無邊觸手可及，人類生活煥然一新，自動駕駛馳騁天地……”
語言了解方面，星火大模型不僅能夠理順上下文的關系，甚至對于類似“甯死不屈”和“能屈能伸”這類詞彙，也能夠清楚的進行辯證了解和場景化的應用。
知識問答次元，星火大模型能夠基于搜尋結果之上，運用大模型的語言了解和綜合表達能力給出更有針對性的回答。
邏輯推理是考驗大模型智慧水準的關鍵任務，訊飛星火經過兩個版本的疊代，現在對于“農夫帶着狼、羊、菜一起過河”這種組合限制下的複雜推理都能非常好的完成。
根據胡國平的介紹，星火大模型的數學能力和代碼能力在釋出後也有了長足進步，其中數學能力對于高中階段涉及到的幾何和代數問題都能按照步驟準确的給出答案，代碼能力也有了新的突破，特别是Python的代碼生成能力已經達到了比較高的水準。
最後示範的多模态能力，根據胡國平的任務指令，星火大模型很快生成了一段散文文本，同時使用一個女生形象的虛拟人主播朗誦這篇散文。
很顯然，星火大模型的表現非常出色，經科學、系統地評測，“訊飛星火認知大模型”在國内可測的現有系統中處于領先水準。
星火大模型從立項到釋出，再到疊代，每個節點留給研發訓練的時間都非常短，但就其展現出來的能力和效果來看，卻能穩居中國主要大模型的第一梯隊，在其背後到底藏着哪些秘密呢？
02
驚豔之餘，看清昇騰算力底座的成色
除了科大訊飛多年來在認知智能領域形成了深厚的技術儲備和積累之外，由昇騰AI支撐的算力底座尤為關鍵。
大模型訓練首先要求滿足的條件就是大算力。
有行業專家做過測算，完成一個千億參數級别的大模型，例如GPT-3需要314 ZFLOPs算力的模型訓練，當單卡隻有312 TFLOPS算力時，用一張卡訓練一個模型要耗時32年。
因而引入分布式訓練解決方案，通過建立AI晶片叢集的方式來加速模型訓練成為目前行業的主流。
可是，當晶片叢集越來越大，由于大模型被并行切分到叢集，模型切片間會産生大量的多卡通信、節點通信，此時對叢集的通信能力也提出了更高的要求。
由此可見，大模型訓練既考驗算力的大小，還考驗算力叢集工程化、系統化的能力。
還是以星火大模型為例，整個模型訓練的時間很短，而其疊代的速度又很快，這也意味着在算力之外，模型訓練的穩定性和可擴充性也要有很好的表現。
我們來看看昇騰AI叢集是如何做到的。
首先，整機系統更新後，把計算、存儲、網絡、能源這些要素全部整合在一起，相當于把AI資料中心打造成一台AI超級計算機，實作了能效的倍增。
其次，基于背闆總線的架構設計，實作全節點盲插和精準液冷散熱，具備更大的算力密度，以及低于1.15的PUE，讓算力中心更加綠色，并可實作更加靈活的擴充和部署。
最後，通過節點、機櫃、叢集、作業級的多級可靠設計，實作了系統級故障的可診斷、可預測、可衡量、可恢複，能保持30天以上的穩定訓練周期，實作高可用性。
其實，早在2019年，昇騰AI就已經開始了千卡叢集的探索，當時隻有4000張卡的規模，于2020年落地商用；剛剛結束的昇騰人工智能産業高峰論壇上，華為宣布昇騰AI叢集全面更新，叢集規模已經擴充到16000張卡，這也是說，一個1750億參數，100B資料的大模型，大概半天時間就可以完成一次訓練。
事實上，支援星火大模型研發和訓練隻是昇騰AI能力的一個縮影，更高層級中，昇騰AI還廣泛參與到全國20多個人工智能計算中心的建設，包括武漢、北京、西安、成都、大連、沈陽等在内，已經有7個城市獲得了國家的認可，成為科技部首批國家新一代人工智能公共算力開放創新平台。
與此同時，昇騰AI還支援了近一半的中國原創模型的開發，根據今年5月份釋出的《中國人工智能大模型地圖研究報告》統計，國内10億參數規模以上的大模型，有30多個是基于昇騰原生的開源和适配，覆寫了NLP、多模态、雲、語音等多個領域。
如此多的項目，讓昇騰AI積累了大量的經驗，因而在推動大模型應用落地方面，昇騰AI不光是算力提供者，還從效率出發，成為大模型開發流程的塑造者。
大模型的開發模式，最開始時是傳統的API-based，昇騰AI通過提供一系列的大模型開發套件，走向了model-based，在這套開發模式下，隻需要幾十行代碼就可以實作全流程的腳本開發，降低大模型開發門檻。
很顯然，面對大模型開發訓練的諸多難點和挑戰，昇騰AI迎難而上，選擇了正面硬鋼，于昇騰AI自身而言，是大模型時代算力競争的提前占位；于大模型行業整體而言，則是國産大模型架構在自主創新的軟硬體基礎之上，是國家科技實力的真實表現。
03
創新路上，中國AI需要更多同行者
大模型時代才剛剛開啟，未來還有很多不确定性，唯一确定的是，對算力會有着持續的需求。
胡國平預測了大模型發展的三個趨勢。
第一個是，未來會有更多新的大模型出現，現有的大模型在不斷疊代之後，資料規模會有更大的增長，加之應用端的使用者數量的增加，由此會帶來更大的算力需求。
第二個是，随着大模型能力的提升，能夠與更多的傳感器、執行器産生資料和智慧的輸入與輸出，大模型的邊界會進一步擴散，此時對算力會有更大的消耗。
第三個是，未來或将每個人都會擁有自己的專屬大模型或者助理，圍繞着個人的學習和生活，個人助理每時每刻都在進化和同步更新，這對極低功耗的晶片和系統解決方案提出了挑戰。
不難看出，這三個趨勢都與算力密切關聯，在胡國平看來，大模型與大腦的原理層類似，都通過超千億神經元組合在一起，接受輸入的刺激，再産生智慧的輸出，有着相似的智能激發和運作機制。
這也意味着，“大腦能做的事情，大模型也能實作”，大模型具有無限的潛力，算力底座的探索也就沒有止境。
當然，要做好大模型，光有算力也不行。
中國科學院院士、清華大學計算機系教授、清華大學人工智能研究院名譽院長張钹院士認為，Chat GPT的成功并不是僅僅歸功于資料、算力和算法三個要素，而是要強調四個要素，分别是知識、資料、算法和算力。
也就是說，我們要從文本中擷取資料，然後從資料中擷取到知識，出現這個轉變才有了現在的ChatGPT，而這些都建立在“基于詞嵌入的文本語意表示””基于注意機制的轉換器”“基于預測下一個詞的自監督學習”這三項技術的突破才得以實作的。
由此看來，資料、算法、算力這三個要素看似獨立，但在大模型中又關聯緊密，因而産業生态建設的重要性凸顯出來。
昇騰AI産業生态發展迅速，截至目前為止，已經發展了30多家硬體夥伴、1200多家ISV，聯合推出了2500多個行業AI解決方案，這套生态體系是可以直接搬運到大模型産業的。
人才培養方面，有超過300家高校院所與昇騰AI開展合作，每年培養了超過10萬名專業的AI人才，昇騰AI開發者的數量也在高速增長，今年已經突破了180萬人。
也正因為有如此根基，昇騰AI在此次大會論壇上宣布，聯合科大訊飛、智譜AI、雲從科技和面壁智能四家生态夥伴共同釋出大模型訓推一體化解決方案，加快大模型的落地速度，讓大模型在智慧城市、智慧金融、智慧煤礦、智慧制造等更多細分行業中發揮出價值。
毫無疑問，大模型肯定會迎來屬于自己的時代，假如時代已經來臨，那麼它的決勝期絕對不是剛剛起步的第一年，和其他颠覆性的新産業技術一樣，大模型的發展注定會是一場時間與耐力的長跑。
當然，在子彈飛的這個過程中，在大模型時代的決勝時刻到來之前，我們需要更多的科大訊飛，也迫切需要能提供強大算力的昇騰AI。
本文轉載自：洞見新研社