科大訊飛副總裁劉聰：認知智能大模型的技術階躍及颠覆式影響｜WISE2023颠覆AIGC産業發展峰會

5月23日，36氪舉辦「颠覆·AIGC」産業發展峰會。本次峰會彙聚産業力量，共同探讨企業、行業在面臨變革時的應對政策，分享思考，探索和發現産業中最具潛力的企業與最具價值的技術，在激蕩的環境中探尋前行的方向。

大會上，科大訊飛副總裁、研究院院長劉聰發表了題為《認知智能大模型的技術階躍及颠覆式影響》的主題演講。劉聰認為，大模型“智能湧現”開啟了機器自然語言互動式學習的“類人”新範式，将改變資訊分發、擷取、生産和互動方式，颠覆傳統程式設計模式，加速科研工作，提高生産力。

劉聰指出，盡管目前通用大模型仍存在“張冠李戴”、沒有人類“靈光乍現”能力等問題，但基于科大訊飛此前提出的“漣漪效應”的觀點，随着模型獲得的資料和回報增加，以及知識密集型資料标注工程的助力，系統誤差會逐漸降低。

具體到AI2.0與1.0時代的差别，劉聰引用科大訊飛聯合創始人徐景明的觀點表示，AI1.0時代是拿着技術尋找場景與問題，由于通用性受限，需要對特定場景、行業定制，面臨成本高昂、不可持續等問題；而認知大模型的出現帶來了三個破局點：面向不同場景結合不同工具更高效地自動捶打釘子、能夠捶打各種各樣的釘子、錘子也變得更加便宜。

科大訊飛副總裁、研究院院長劉聰

以下為劉聰演講實錄（經36氪整理編輯）：

大家好，今天非常高興能來到36氪颠覆·AIGC産業論壇。

今天我的演講主題是《認知智能大模型的技術階躍及颠覆式影響》。從這個題目可以看出，一方面會有我們關于認知智能大模型技術的了解，另一方面也會帶來5月6日釋出的訊飛星火認知大模型“1+N”體系的解讀。

首先來看認知智能大模型的技術階躍。

大家這段時間以來都在談論的大模型技術，因為快速的變化，以及給産業、産品帶來的疊代，多多少少給相關行業的從業者、包括像我們做技術研發的人帶來一些焦慮。

ChatGPT在11月30日釋出，上線兩個月活躍使用者破億；比爾蓋茨說大模型“曆史意義不亞于PC或網際網路誕生”；GPT-4釋出後大家非常關注它的多模态能力，客觀來講其在很多語言能力上的提升更加值得重視；谷歌大腦與DeepMind合并，并且推出了PaLM2，效果也值得持續關注。

認知大模型展現出的智能湧現推動了通用人工智能的技術階躍。微軟研究院曾發表過一篇名為《通用智能的星星之火》的論文，列舉分析了GPT-4的多種能力，可以看出模型和資料都是可行的；ChatGPT釋出時就公布了在48項任務上的能力特點；再看國内，今年4月28日中共中央政治局會議上也提出“要重視通用人工智能的發展”。

是以，結合ChatGPT給出的48個主要任務，以及科大訊飛人工智能開放創新平台上400多萬開發者對于通用智能各種需求的分析，我們提煉出通用人工智能的七大次元：文本生成、語言了解、知識問答、邏輯推理、數學能力（文本模型想要解決數學問題并不容易，和專有數學功能不一樣）以及代碼能力，再拓展到多模态能力。

我非常贊同剛才微軟韋青總提到的兩個觀點，第一是我們如何評價一件事要和想做的目标密切相關，我認為做大模型不能隻聚焦一兩個問題方向，正因如此我們強調發展和評估認知大模型能力，首先必須有科學系統的評測體系。

第二我非常贊同剛剛韋總提到的實踐是檢驗真理的唯一标準。僅憑幾個問題測試就評價大模型的能力并不科學，如何讓大家全面了解大模型的能力以及實際應用至關重要。從技術角度來看，我認為ChatGPT是一款非常優秀、成功的産品，因為有億萬使用者在真實體驗、發表感受和觀點。

是以，我們認為認知大模型應當有更全面的評測标準及體系，由中國科學技術大學和科大訊飛承建的認知智能全國重點實驗室聯合中科院人工智能産學研創新聯盟、長三角人工智能産業鍊聯盟設計了通用認知大模型評測體系，共同探讨後形成了覆寫7大類481個細分任務類型。

我們再來回顧一下認知大模型是怎麼實作智能湧現的。

ChatGPT本質上仍然是個深度神經網絡大模型，也是一個對話式的AI系統——這裡強調一下，不是對話系統。有人說ChatGPT是個聊天工具，但我們認為ChatGPT不僅增強了聊天機器人的功能，更重要的是它能用大家熟知的prompt方式把各種任務統一輸入大模型，一個通用大模型就能解決如此之多的任務和能力。

為什麼智能湧現有意義？因為ChatGPT的智能湧現開啟機器自然語言互動式學習的“類人”新範式。文本本身就是抽象出來、适合人類溝通的過程，不論是學習哪個領域裡的知識，機器都能夠像人類一樣去學習，真正掌握和運用核心語言與知識。

3月14日，GPT-4正式問世，我們看到了GPT-4的多模态能力，但更重要的是它在很多任務上的專業能力持續提升，在問題回答上更安全可控，以及能夠處理更長的上下文。我們認為GPT-4之是以能夠成功，最核心的仍然是語言貫穿的能力。GPT-4多模态背後的技術，是對圖像、圖像OCR文字、文字輸入共同進行特征編碼，并将圖像特征以聯合訓練的方式對齊到統一語義空間。

我們也需要了解通用大模型的真正用途以及大模型還存在的實用性問題。例如，“張冠李戴”就是大模型本身的一個缺陷，因為它是字元接字元生成的，而不是直接copy片段；還有新知識難以及時更新、“隻讀模式”大模型無法學習、沒有人類“靈光乍現”能力等問題。

大模型的出現也讓資料疊代與以往不同了。ChatGPT作為先行者，全世界優秀的科技成果、經驗和專業人士都在給ChatGPT和GPT-4貢獻智慧。大模型的智慧能力自進化需要全世界知識和使用者回報的喂養，這對于大模型進化來說非常關鍵。

在這裡也和大家分享一下我們提出的“漣漪效應”這個觀點，因為“漣漪效應”正在加速認知智能的“智能湧現”。

2010年時訊飛推出了訊飛雲平台（後為訊飛開放平台）與訊飛輸入法後，我們也提出了“漣漪效應”的觀點：人工智能相關技術被人們使用時是一點點擴散的，越來越多的人使用，也會不斷貢獻資料和回報，系統誤差也會随之越來越小，就像水波紋的振浮一樣。

以語音為代表的感覺領域的确受益于漣漪效應，例如我們的語音識别系統，集合算法、資料等之後其錯誤率連續8-10年每年相對下降30%以上。

現在有一個新的内容叫認知智能資料标注工程，“漣漪效應”同樣适用，但和我們剛才說的語音、圖像領域又不一樣。原來的資料标注屬于勞動密集型，普通人通過簡單教育訓練之後就可以操作；但認知大模型涉及到繁多的領域、專業，資料标注已轉化成知識密集型，源源不斷的增量知識資料是大模型智能湧現的堅實基礎。

做一個小結：

第一，從目前來看大模型上限非常高，未來湧現出和人類智慧接近的機器智能有希望。

第二，“純文字世界”的對話式AI系統在很長一段時間内非常重要，這種AI系統和人機協同是很好的設計，不僅能閉環自洽、而且文本資源非常多。

第三，統一的深度神經網絡大模型具有很強通用性，是邁向通用智能的星星之火，未來需要進一步研究。

第四，認知大模型未來可以在運動智能、多模态智能、具身智能等其他領域實作推廣應用，在技術和産業上有巨大空間。

接下來，給大家介紹一下5月6日釋出的訊飛星火認知大模型的研究進展和應用實踐。

認知大模型的“智能湧現”帶來了解決人類剛需的全新機遇，我們在今年2月提煉出認知大模型帶來的六個變革：

第一，改變資訊的分發和擷取方式。不管傳統搜尋還是視訊流，資訊分發未來都會發生變化；

第二，革新生産内容，寫作變得會更容易；

第三，全新自然的互動，萬物互聯下各種互動都會發生變化；

第四，實作專家級的虛拟助手，更多人能享受到教育、醫療等行業的資源普惠。

第五，颠覆傳統手工程式設計方式。

第六，成為科研工作的加速器，大大提升生産力。目前已經可以做到對文獻内容做整合抽取和分析。

訊飛為什麼能從去年12月15日啟動攻關以來，在半年内就做出訊飛星火認知大模型？

“很多你看到的現在，是看不見的過去”。實際上訊飛為大模型的智能湧現做了多年的源頭核心技術儲備，2012年我們的語音評測首次通過人類專家水準，2014年我們提出“訊飛超腦”計劃，就是要讓機器實作能了解會思考，2017年，認知智能國家重點實驗室獲批，2022年進一步推出“訊飛超腦2030”計劃，讓機器懂知識、善學習、能進化，還有我們在各種國際權威技術比賽中持續奪冠，都是過去十餘年的技術積累。

我們還擁有認知智能全國重點實驗室、語音及語言資訊處理國家工程研究中心、國家新一代人工智能開放創新平台三大國家級平台。

基于以上，我們在去年12月15日啟動“1+N”大模型攻關計劃，既要做“1”的底座模型，也要圍繞教育、醫療、互動、辦公、汽車等這樣的場景同步推出産品。從啟動攻關的第一天，我們的技術路線就已經非常明晰，全面對标ChatGPT給出的48項任務能力，過程中按照規劃一步步踏實前進。

5月6日，我們正式釋出了訊飛星火認知大模型。給大家快速看一下訊飛星火七大核心能力的展示，其中有一些有趣的問題都來源于大家的提問；多模态能力的展示中，大家能夠看到語義貫穿、自動生成的虛拟人。

在行業應用中，可以看到在教育領域，搭載了訊飛星火認知大模型的科大訊飛AI學習機能夠層層批改點評中英文作文，基于上百名教師的作文評分批改記錄分析，星火認知大模型在中英作文批改準确率、錯誤召回率、句子修訂優美率上已經超過一般老師的水準；在語言學習上，基于訊飛星火能夠實作自由開放式話題的口語練習環境，避免“啞巴英語”。

在辦公領域，基于訊飛星火實作了會議紀要、語篇規整、一鍵成稿、閱讀摘要等能力的更新，讓辦公更加高效。今天大家聽了報告，隻要把錄音上傳到訊飛聽見裡，選擇自己想要的稿件方向就能一鍵生成相應的稿件。還有在汽車、數字員工等領域帶來的全新變化。

這裡我想說一個很有意思的話題，是科大訊飛聯合創始人徐景明在今年年初提到的一個觀點：之前，是拿着AI技術尋找場景與問題，但其通用能力很難在不同的場景實用，就像拿着錘子找釘子卻發現每個釘子都不一樣，衍生了行業定制複雜、成本昂貴、不可持續等問題，錘子的價值也在市場的激烈競争中消失。

但是認知大模型的出現像“雷神之錘”，從三個方面進行破局：面向不同場景結合不同工具更高效地自動捶打釘子、能夠捶打各種各樣的釘子、錘子也變得更加便宜。在降本增效的基礎之上，認知大模型與行業場景的緊密結合也能不斷反哺大模型自身能力持續進化。

5月6日釋出之後，訊飛星火在年内還有三個持續更新的關鍵裡程碑。6月9日要突破開放式問答，多輪對話能力和數學能力再更新；8月15日，突破代碼能力并實作多模态互動更新；到10月24日時，我們要實作通用模型對标ChatGPT，中文超越、英文相當。

是以我認為，中國認知大模型發展不僅要有“彎道超車”，更需要在向目标緻敬的同時具備直接對标、追趕和超越的勇氣，是以還需要“直道沖鋒”。産業界和學術界也需要深度結合、協同并進，在大模型長跑之中持續注入不竭動力。

從PC時代的win-tel，到移動網際網路時代iOS和安卓兩個生态系統，再到搜尋生态系統，我們相信未來大模型本身就能帶動一系列的上下遊産業鍊、技術鍊，形成新的生态。

目前，訊飛開放平台也在聯合訊飛星火賦能更多開發者打造更具價值的AI應用，共建“星火”生态。

相信通用人工智能的星星之火，必将在中國大地形成燎原之勢。我們希望以訊飛星火認知大模型為新的起點和燃點，和各界一起用人工智能建設美好世界。

整理｜沈筱