天天看點

中文大模型基準測試 SuperCLUE 釋出訊飛星火認知大模型國内第一

作者:靈貓财經

5月9日,中文通用大模型綜合性評測基準 SuperCLUE 正式釋出。該基準測試主要關注以下問題:中文大模型在不同任務上的表現如何?與國際代表性模型相比,中文大模型的表現達到了何種程度?中文大模型與人類表現相比如何?

該模型可通過多個層面,考驗市面上主流的中文 GPT 大模型的能力:

基礎能力: 包括了常見的有代表性的模型能力,如語義了解、對話、邏輯推理、角色模拟、代碼、生成與創作等 10 項能力。

專業能力: 包括了中學、大學與專業考試,涵蓋了從數學、實體、地理到社會科學等 50 多項能力。

中文特性能力: 針對有中文特點的任務,包括了中文成語、詩歌、文學、字形等 10 項多種能力。

中文大模型基準測試 SuperCLUE 釋出訊飛星火認知大模型國内第一

該機構利用 SuperCLUE 測試基準,對市面上主流的支援中文的通用大模型進行了評測與排名。從排名中我們可以看出,GPT-4 一騎絕塵,已經非常接近人類的能力。國産大模型中訊飛科技研發的星火認知大模型總排名第三,國内排名第一。

中文大模型基準測試 SuperCLUE 釋出訊飛星火認知大模型國内第一

以下為該機構公布的各個子項目的具體得分。排行榜會定期更新,并于CLUEbenchmarks 官方網站網站進行公示。

中文大模型基準測試 SuperCLUE 釋出訊飛星火認知大模型國内第一
中文大模型基準測試 SuperCLUE 釋出訊飛星火認知大模型國内第一
中文大模型基準測試 SuperCLUE 釋出訊飛星火認知大模型國内第一

繼續閱讀