清華大學教授孫茂松等建立機器中文語言能力評測基準“智源指數”

12月30日，清華大學教授孫茂松帶領的團隊在北京釋出了機器中文語言能力評測基準“智源指數”CUGE　宋佳　攝

中新網北京12月31日電 (宋佳)在北京智源人工智能研究院自然語言處理(簡稱NLP)重大研究方向前沿技術開放日活動上，由清華大學教授孫茂松帶領的團隊釋出了機器中文語言能力評測基準“智源指數”(CUGE)。

團隊代表31日對媒體表示，人工智能大模型時代，評測基準成為大模型發展的風向标。從扁平到全面系統，從簡化到多重次元，“智源指數”旨在嘗試為大模型評測設計一張全面評估綜合能力的新“考卷”。

具體來說，“智源指數”根據人類語言考試大綱和目前NLP研究現狀，以“語言能力—任務—資料集”的分層架構來選擇群組織資料集，涵蓋7種重要的語言能力、17個主流NLP任務和19個代表性資料集。在評分政策上，“智源指數”提供不同層次的模型性能評分。

為促進“智源指數”的共建共享，提升其易用性，該團隊同時釋出了線上評測平台和公開排行榜，并表示将“定期吸納最新優秀資料集”，以及“建立使用者面向資料集和評測結果的回報、讨論機制，建構起中文高品質資料集社群”。

北京語言大學教授、國家語言文字工作委員會原副主任李宇明認為，這些舉措将推進中文資訊處理工作前進，促進中文在人類社會中發揮更大的作用。

中國工程院院士、中國人工智能學會理事長戴瓊海也表示，孫茂松教授帶領智源NLP學者共同建立的成果，對中文資訊處理乃至中國人工智能的發展都具有重要意義。

除“智源指數”外，本次開放日活動還進行了“自然語言處理評測中的問題與對策”“邁向通用連續型知識庫”“文本複述生成”等研究成果的階段性彙報，内容涵蓋預訓練模型、知識計算、人機對話、文本生成等十餘項重點NLP科研問題。

據介紹，在智源研究院的支援下，自然語言處理重大研究方向學者團隊積極探索自然語言處理新格局。在落地應用方面，清華大學教授李涓子團隊建構的“多模态北京旅遊知識圖譜”，可為路徑規劃和景點資訊查詢等功能提供資料支援，并且可為遊客進行旅遊行程的規劃。

而在預訓練大模型方面，為突破預訓練語言模型的高計算成本、高裝置需求、難應用适配等問題，清華大學副教授劉知遠等提出了面向PLM的全流程高效計算架構，并基于此架構建構了以中文為核心的超大規模預訓練語言模型CPM—2。

作為代表性創新型研究院，智源研究院力求通過構築協作社群，打造用于未來研究的計算和資料平台。該院于2019年4月啟動“智源學者計劃”，這項計劃在人工智能的數理基礎、人工智能的認知神經基礎、機器學習、自然語言處理等研究方向，支援學者自由探索。這項計劃更推崇青年人才挑大梁、當主角。(完)