天天看點

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

作者:科大訊飛

9月17-18日,2023第十二屆中國智能産業高峰論壇(CIIS 2023)在江西南昌舉辦。聚焦大模型、行業智能化等熱門議題,論壇聚集多位院士、科學家、教育家、企業家洞見智能産業創新趨勢與機遇,助力江西數字經濟高品質發展,線上線下超2300萬人次觀會。

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

此次高峰論壇主論壇上進行了中國人工智能學會2023年度增選會士頒牌儀式,科大訊飛副總裁、研究院院長劉聰作為今年新增的8位會士代表之一,現場接受了授牌。

高峰論壇期間,劉聰與科大訊飛副總裁、研究院常務副院長王士進還分别參與了相關專題論壇,分享訊飛在多模态大模型上的技術與應用創新、訊飛星火認知大模型在行業領域的落地成果等内容;劉聰還擔任了“大模型産業賦能和創新創業的機遇與挑戰”專題論壇主席,組織來自中科大、上海交通大學、華為、快手、未來智能、面壁智能等高校與企業的學者專家齊聚,分享大模型技術創新成果和産業化應用趨勢,以及大模型賽道創業實戰經驗。

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

劉聰當選中國人工智能學會會士

中國人工智能學會設立會士的目的,是為了鼓勵學會會員不斷攀登科學技術高峰,用于表彰在人工智能領域有卓越成就,或者關心學會、為學會做出重大貢獻的進階會員,會士也是會員在學會的最高學術榮譽。

從2017年設立會士機制至今,中國人工智能學會已評選出119位會士,今年新增8位。會士均為來自于學界和産業界的權威學者專家,是中國人工智能技術和産業應用領域卓越的領軍人物。

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

此次劉聰當選會士,是學會對科大訊飛在人工智能技術及應用創新貢獻與成績的高度肯定。作為訊飛星火認知大模型的研發負責人之一,劉聰表示未來訊飛将持續推動核心源頭技術的創新研究,為夯實大陸人工智能快速穩定發展的技術基礎持續做貢獻;同時發揮産業賦能價值,推動智能産業與實體經濟的發展,為加快産業智能化更新程序添磚加瓦。

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

大模型多模态能力協同湧現

生成式AI應用“未來可期”

8月15日,訊飛星火認知大模型V2.0釋出會上重磅更新了多模态能力,在圖像描述、圖像問答、識圖創作、文圖生成、虛拟人合成等方面全新更新。從認知智能大模型到多模态智能大模型,其中仍以認知智能大模型為核心,将語音、圖像、視訊等其他模态對齊到統一語義空間中,可以結合插件、工具實作多模态的協同湧現。

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

在“多模态大模型與文檔圖像智能了解”專題論壇的演講分享中,劉聰表示,星火認知大模型v2.0背後的多模了解能力結合了松耦合、緊耦合:

松耦合多模了解借助獨立的圖文轉換器将圖像轉換為對應的文本資訊,直接利用認知大模型完成互動,無需端到端訓練。這種方案對于某些特殊的圖像、尤其是文檔圖像,通過圖文識别與結構化了解技術,可以提取圖像中蘊含的完整資訊。

基于訊飛此前在圖文識别領域的技術積累與全面的應用産品,再與訊飛星火松耦合多模了解能力結合,就産生了例如訊飛AI學習機中類人作文批改、醫療診後管理等創新應用。

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

訊飛AI學習機作文批改

緊耦合多模了解通過視覺表征學習建構圖像特征編碼器,借助橋接器抽取關鍵資訊并實作跨模态對齊,以端到端微調保障多模态對話式任務了解及泛化能力。

目前在訊飛星火中,無論是上傳圖檔後針對圖檔提問題、要求對圖檔進行描述,還是在繪本有聲故事助手中通過一張圖檔來生成繪本故事和AI朗讀,使用者都可以直接體驗多模了解技術并參與共創。同時,多模态能力也賦能星火語伴APP、訊飛AI學習機實作口語陪練、AI創意畫闆等新能力。

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

訊飛星火繪本有聲故事助手

在應用頗為廣泛的圖文識别技術上,多模态大模型與其緊密結合、能夠碰撞出更多“火花”。對于以語言為核心的認知智能大模型來說,圖像中的文字是資訊的重要載體,能夠輔助對圖像内容的深度了解;利用更強的認知智能大模型,則能夠強化圖文結構化了解中的解碼器能力,提升醫療、教育等需要外源知識、推理能力場景下的核心效果。“認知大模型的範式可以應用到圖文識别領域,進一步實作統一的通用圖文識别模型。目前針對不同的任務,我們也在不斷摸索。”

多模态大模型已初顯威力,但仍然面臨一定的技術挑戰。例如在感覺了解中會出現“幻覺”,在細節感覺與生成問題上不準确,難以完成多實體複雜關系的圖像生成。“多模态大模型未來具有很大的發展前景,站在實用角度值得我們持續探索研究。”劉聰表示。

科大訊飛副總裁、研究院常務副院長王士進參與“生成式AI基礎技術與産業應用”專題論壇,分享了訊飛對于生成式AI及大模型産業應用的觀點。

王士進表示,生成式AI與大模型密不可分,目前在訊飛星火認知大模型裡,使用者可以直接體驗文字、圖檔、視訊等多模态的AI生成内容,在訊飛AI學習機、星火語伴、訊飛智作等C端産品也有相應創新功能。

2023中國智能産業高峰論壇 | 解碼科大訊飛星火認知大模型

目前訊飛星火已落地應用于多個行業,如教育領域持續賦能相關産品,在作文批改、口語對話等方面因材施教、減負增效;在醫療方面,賦能診後康複管理平台為患者提供服務,提升管理效率同時保障患者安全;在辦公方面,搭載訊飛星火的智能硬體可做到一鍵成稿、語篇規整、會議紀要等功能,提高工作效率、激發創意靈感;在汽車領域,訊飛星火賦能後實作汽車類人自然新互動,推動汽車智能化更新;在工業領域,訊飛星火助力羚羊平台供需高效比對。

“大模型的行業應用挑戰重重,想要用好還需要關注技術可達性、經濟實用性、應用邊界性幾個特點,同時也需要有科學的評測體系進行評價。”王士進表示。

在大模型技術持續進化與應用創新落地的浪潮之下,訊飛星火認知大模型也将不斷疊代核心技術能力,賦能千行百業,真正實作解放生産力、釋放想象力,助力數字經濟實作高品質發展。

繼續閱讀