2023 年熱門大型語言模型 (LLMs)彙總

大模型（LLMs）是一種人工智能模型，旨在了解和生成人類語言。

它們通過在大量的文本資料上進行訓練，可以執行廣泛的任務，包括文本總結、翻譯、情感分析等等。這些模型通常基于深度學習架構，如轉換器，這使它們在各種自然語言處理任務上表現出令人印象深刻的能力。

大模型領域在國内外都取得了顯著的成就，各個國家和地區的企業、機構以及學術界都在積極投入資源和努力，推動大模型技術的發展。

比如，在國外，OpenAI 推出的基于 GPT-3.5 的大型語言模型 ChatGPT，由于其優秀的表現，ChatGPT 及其背後的大型語言模型迅速成為人工智能領域的熱門話題，吸引了廣大科研人員和開發者的關注和參與。

在國内，截至2023年8月31日，多家大模型企業和機構正式宣布其服務已經上線，并向全社會開放。目前，百度、智譜、百川、位元組、商湯、中科院（紫東太初）等8個企業和機構的大模型名列第一批備案名單，它們可以正式上線并向公衆提供服務。

為了讓大家能更加直覺的看到大模型領域的發展，我們整理了國内外頂尖的大模型，提供給大家參考和使用。

國外大模型彙總

Open AI

ChatGPT

ChatGPT是由GPT-3語言模型驅動的開源聊天機器人。它能夠與使用者進行自然語言對話交流。ChatGPT經過廣泛的主題訓練，可以幫助回答問題、提供資訊和生成創意内容等各種任務。它被設計成友好和樂于助人的，可以适應不同的對話風格和語境。通過ChatGPT，您可以在最新新聞、時事、愛好和個人興趣等各種話題上進行有趣而富有資訊的對話。

論文：https://www.aminer.cn/pub/5ed0e04291e011915d9e43ee

GPT-4

2023年3月，OpenAI 釋出了多模态預訓練大模型 GPT-4，能接受圖像和文本輸入，再輸出正确的文本回複。實驗表明，GPT-4 在各種專業測試和學術基準上的表現與人類水準相當。例如，它通過了模拟律師考試，且分數在應試者的前 10% 左右；相比之下，GPT-3.5 的得分在倒數 10% 左右。

論文：https://www.aminer.cn/pub/641130e378d68457a4a2986f

Google

LaMDA

LaMDA是一系列專門用于對話的基于Transformer的模型。這些模型擁有多達1370億個參數，并使用1.56萬億個公開對話資料進行訓練。LaMDA可以在各種話題上進行自由流暢的對話。與傳統的聊天機器人不同，它不受預定義路徑的限制，可以根據對話的方向進行自适應調整。

論文：https://www.aminer.cn/pub/61ea249b5244ab9dcbabc7ac

PaLM

PaLM是一個具有5400億個參數的語言模型，能夠處理各種任務，包括複雜的學習和推理。它在語言和推理測試中可以勝過最先進的語言模型和人類。PaLM系統采用了少樣本學習的方法，可以從少量的資料中泛化，近似模拟人類學習和應用知識來解決新問題的方式。

論文：https://www.aminer.cn/pub/624d050e5aee126c0f4a7920

mT5

多語言T5（mT5）是一個由130億個參數組成的文本到文本的Transformer模型。它是在mC4語料庫上進行訓練的，涵蓋了101種語言，如阿姆哈拉語、巴斯克語、科薩語、祖魯語等。mT5能夠在許多跨語言自然語言處理任務上達到最先進的性能水準。

論文：https://www.aminer.cn/pub/5f92ba5191e011edb3573ba5

Deepmind

Gopher

DeepMind的語言模型Gopher在回答關于科學、人文等專業主題的問題等任務上比現有的大型語言模型更準确，而在邏輯推理和數學等其他任務上與它們相當。Gopher擁有2800億個參數可供調整，使其比OpenAI的GPT-3更大，後者隻有1750億個參數。

論文：https://www.aminer.cn/pub/61b2c0246750f848a14300ff

Chinchilla

Chinchilla使用與Gopher相同的計算預算，但隻有700億個參數和四倍的資料。在許多下遊評估任務中，它勝過了Gopher、GPT-3、Jurassic-1和Megatron-Turing NLG等模型。它在微調和推理方面使用的計算資源明顯較少，極大地促進了下遊應用的使用。

論文：https://www.aminer.cn/pub/63a413f690e50fcafd6d190a

Sparrow

Sparrow是由DeepMind開發的聊天機器人，旨在正确回答使用者的問題，同時減少不安全和不适當回答的風險。Sparrow的動機是解決語言模型産生不正确、帶偏見或潛在有害輸出的問題。Sparrow通過使用人類判斷進行訓練，使其比基線預訓練語言模型更有幫助、更正确和更無害。

論文：https://www.aminer.cn/pub/63365e7c90e50fcafd1a2bdd

Anthropic

Claude

Claude是一個由先進的自然語言處理驅動的基于AI的對話助手。它的目标是成為有益、無害和誠實的助手。它使用一種稱為Constitutional AI的技術進行訓練。在訓練過程中，通過模型自我監督和其他AI安全方法，對其進行限制和獎勵，以展現之前提到的行為特征。

論文：https://www.aminer.cn/pub/63a1750c90e50fcafd1f38d7

Meta

OPT-IML

OPT-IML是基于Meta的OPT模型的預訓練語言模型，擁有1750億個參數。OPT-IML經過微調，以在自然語言任務（如問答、文本摘要和翻譯）中獲得更好的性能，使用了約2000個自然語言任務進行訓練。它在訓練過程中更高效，并且比OpenAI的GPT-3具有更低的CO₂排放量。

論文：https://www.aminer.cn/pub/63a910a290e50fcafd2a84fd

BlenderBot-3

BlenderBot 3是一個可以與人互動并接收回報以提高對話能力的對話代理。BlenderBot 3是基于Meta AI公開提供的OPT-175B語言模型建構的，該模型的規模大約是其前身BlenderBot 2的58倍。該模型融合了人格、共情和知識等對話技能，并通過利用長期記憶和搜尋網際網路來進行有意義的對話。

論文：https://www.aminer.cn/pub/62f07ec290e50fcafde5ac5e

AI21 Labs

Jurassic

Jurassic-1是AI21 Labs推出的開發者平台，為建構應用程式和服務提供最先進的語言模型。它提供了兩個模型，其中包括Jumbo版本，是迄今為止釋出的最大、最複雜的通用語言模型。這些模型非常靈活，能夠生成類似于人類的文本，并解決諸如問答和文本分類等複雜任務。

論文：https://www.aminer.cn/pub/62620f1c5aee126c0f686cf5

NVIDIA

Megatron-Turing NLG

Megatron-Turing自然語言生成（MT-NLG）模型是一個基于Transformer的語言模型，擁有5300億個參數，使其成為同類模型中最大且最強大的模型。它在零、一和少樣本設定中超越了之前的最先進模型，并在完成預測、常識推理、閱讀了解、自然語言推理和詞義消歧等自然語言任務中展現了無與倫比的準确性。

論文：https://www.aminer.cn/pub/61f753205aee126c0f9c2149

國内大模型彙總

百度

Ernie 3.0 Titan

由百度和鵬程實驗室聯合釋出，它有 260B 個參數，擅長自然語言了解和生成。它在海量非結構化資料上進行了訓練，并在機器閱讀了解、文本分類和語義相似性等 60 多項 NLP 任務中取得了一流的成績。此外，泰坦還在 30 項少拍和零拍基準測試中表現出色，這表明它有能力利用少量标記資料在各種下遊任務中進行泛化。

論文：https://www.aminer.cn/pub/61c53a815244ab9dcbcaf3b5

Ernie Bot

于 3 月份完成 "Ernie Bot "項目的内部測試。Ernie Bot 是一種人工智能語言模型，類似于 OpenAI 的 ChatGPT，能夠進行語言了解、語言生成和文本到圖像的生成。這項技術是全球開發生成式人工智能競賽的一部分。

論文：https://www.aminer.cn/pub/60e441e0dfae54001623c105

智譜AI

GLM

一個基于自回歸填空的通用預訓練架構，通過在一個統一的架構中同時學習雙向和單向的注意力機制，模型在預訓練階段同時學習到了上下文表示和自回歸生成。在針對下遊任務的微調階段，通過完形填空的形式統一了不同類型的下遊任務，進而實作了針對所有自然語言處理任務通用的預訓練模型。

論文：https://www.aminer.cn/pub/622819cdd18a2b26c7ab496a

GLM-130B

GLM-130B 是一個開源開放的雙語（中文和英文）雙向稠密模型，擁有 1300 億參數，模型架構采用通用語言模型（GLM）。它旨在支援在一台 A100（40G * 8）或 V100（32G * 8）伺服器上對千億規模參數的模型進行推理。在 INT4 量化方案下，GLM-130B 可以幾乎不損失模型性能的情況下在 RTX 3090（24G * 4）或 GTX 1080 Ti（11G * 8）伺服器上進行高效推理。

論文：https://www.aminer.cn/pub/633e476890e50fcafde59595

ChatGLM-6B

ChatGLM-6B 是一個開源的、支援中英雙語問答的對話語言模型，并針對中文進行了優化。該模型基于 General Language Model (GLM) 架構，具有 62 億參數。結合模型量化技術，使用者可以在消費級的顯示卡上進行本地部署（INT4 量化級别下最低隻需 6GB 顯存）。ChatGLM-6B 使用了和 ChatGLM 相同的技術，針對中文問答和對話進行了優化。經過約 1T 辨別符的中英雙語訓練，輔以監督微調、回報自助、人類回報強化學習等技術的加持，62 億參數的ChatGLM-6B 雖然規模不及千億模型，但大大降低了推理成本，提升了效率，并且已經能生成相當符合人類偏好的回答。

華為

PanGu-Alpha

華為開發了一種與 OpenAI 的 GPT-3 相當的中文模型，稱為 PanGu-Alpha。該模型基于 1.1 TB 的中文資源，包括書籍、新聞、社交媒體和網頁，包含超過 2000 億個參數，比 GPT-3 多 2500 萬個。PanGu-Alpha 能高效完成各種語言任務，如文本摘要、問題解答和對話生成。

論文：https://www.aminer.cn/pub/6087f2ff91e011e25a316d31

阿裡

M6

2021年6月，阿裡巴巴聯合清華大學發表了一項新研究，提出了參數規模達到1000億的中文預訓練模型 M6，是當時最大規模的中文多模态預訓練模型。M6的應用适用于廣泛的任務，包括産品描述生成、視覺問答、問答、中國詩歌生成等，實驗結果表明M6的表現優于一系列強大的基準。并且，研究人員還專門設計了文本引導的圖像生成任務，并證明經過微調的 M6 可以建立具有高分辨率和豐富細節的高品質圖像。

論文：https://www.aminer.cn/pub/60c320b19e795e9243fd1672

通義千問

2023年4月，阿裡釋出了「通義千問」，一個超大規模的語言模型，具備多輪對話、文案創作、邏輯推理、多模态了解、多語言支援等功能。

而就在前幾天，阿裡再次推出以通義千問70億參數模型Qwen-7B為基座語言模型：Qwen-VL，支援圖文輸入，具備多模态資訊了解能力。除了具備基本的圖文識别、描述、問答及對話能力之外，還新增了視覺定位、圖像中文字了解等能力。

論文：https://www.aminer.cn/pub/64e826d63fda6d7f06c3150c

商湯

日日新

2023年4 ，商湯推出大模型 “日日新”，包括自然語言處理模型 “商量”、文生圖模型 “秒畫” 和數字人視訊生成平台 “如影” 等。這也是繼百度文心一言、阿裡通義千問之後，又一國内大廠的類 ChatGPT 産品。

最近，商湯大模型團隊也提出了文生圖大模型RAPHAEL，詳細請看論文。

論文：https://www.aminer.cn/pub/647572e0d68f896efa7b79ab

除以上模型之外，國内模型還有百川智能模型、抖音的雲雀大模型、中科院 “紫東太初”模型、上海人工智能實驗室的書生大模型、MiniMax 的 ABAB 大模型等。

在2023年，國内外不斷湧現出新的模型，我們目睹了大模型的爆炸式增長。随着大模型的不斷演進和優化，我們可以期待它們在自然語言處理、圖像識别、語音識别等領域的性能不斷提升，甚至超越人類的水準。

這将推動人工智能技術在各個行業的廣泛應用，從醫療到金融，從交通到教育，大模型将成為智能裝置和服務的核心。我們的生活将變得更加智能化、便捷化和個性化。

當然，大模型的未來發展也面臨一些挑戰和問題，如隐私和安全性等。然而，随着技術的進步和應用的拓展，這些問題将逐漸得到解決和克服。

總的來說，一切交給時間來證明！

如何使用ChatPaper？

使用ChatPaper的方法很簡單，打開AMiner首頁，從頁面頂部導航欄或者右下角便可進入ChatPaper頁面。

在ChatPaper頁面中，可以選擇基于單篇文獻進行對話和基于全庫（個人文獻庫）對話，可選擇上傳本地PDF或者直接在AMiner上檢索文獻。