在2023年3月，我們發表了大語言模型綜述文章《A Survey of Large Language Models》。這篇綜述文章已經更新到第13個版本，包含了83頁的正文内容，并收錄了900餘篇參考文獻。該綜述文章旨在系統地梳理大語言模型的研究進展與核心技術，讨論了大量的相關工作。自大語言模型綜述的預印本上線以來，受到了不少讀者的關注。
自英文綜述文章上線後，陸續有讀者詢問是否有對應的中文版本。為此，我們于2023年8月釋出了該綜述的中文翻譯版。為了更好地提供大模型技術的中文參考資料，我們于2023年12月底繼續啟動了中文書的編寫工作，并且于近日完成初稿。與英文綜述文章的定位不同，中文版書籍更注重為大模型技術的入門讀者提供講解，為此我們在内容上進行了大幅度的更新與重組，力圖展現一個整體的大模型技術架構和路線圖。本書适用于具有深度學習基礎的高年級大學生以及低年級研究所學生使用，可以作為一本入門級的參考資料。中文書項目連結：https://llmbook-zh.github.io/
中文書下載下傳連結1：https://github.com/LLMBook-zh/LLMBook-zh.github.io/blob/main/LLMBook.pdf中文書下載下傳連結2：http://aibox.ruc.edu.cn/zws/index.htm全書章節組織：一、背景與基礎知識第一章 引言（大模型發展曆程、重要技術概覽）第二章 基礎介紹（Scaling Law、GPT系列模型發展曆程）第三章 大模型資源（開源模型、資料、代碼庫）二、預訓練第四章 資料準備（資料收集、清洗、配比、課程方法）第五章 模型架構（Transformer 結構、大模型主流架構、細節改進）第六章 模型預訓練（預訓練任務、優化參數設定、并行訓練方法）三、微調與對齊第七章 指令微調（指令資料收集與合成方法、指令微調政策與作用）第八章 人類對齊（3H标準、RLHF算法、非RL算法）四、大模型使用第九章 解碼與部署（解碼生成算法、解碼加速算法、模型壓縮算法）第十章 提示學習（基礎提示方法、上下文學習、思維鍊）第十一章 規劃與智能體（複雜規劃方法、智能體搭建方法）五、評測與應用第十二章 評測（評測名額與方法、基礎與進階能力評測、評測體系）第十三章 應用（概覽研究領域與專業領域的應用）
大語言模型發展時間線
LLaMA 系列模型的衍生工作進化圖在本書撰寫過程中，我們收到了來自許多同行的大量修改意見，在此一并表示感謝，希望大家一如既往支援與關注我們的大模型中文書，您的支援與回報将是我們前行最大的動力。本書的初版僅是一個起點，我們計劃在網上持續進行内容的更新和完善，并特别歡迎讀者提出寶貴的批評與建議，也會同步在網站上對于提出寶貴建議的讀者進行緻謝。如果您有任何意見、評論以及建議，請通過GitHub的Issue頁面（https://github.com/LLMBook-zh/LLMBook-zh.github.io/issues）或郵箱進行回報。為了更好地整理和傳播大模型技術的最新進展與技術體系，我們為讀者提供了以下配套資源，供讀者在閱讀本書時進行參考和使用。大模型代碼工具庫：我們開發了一個全面的代碼工具庫LLMBox，專門用于開發和實作大語言模型，其基于統一化的訓練流程和全面的模型評估架構。LLMBox旨在成為訓練和利用大語言模型的一站式解決方案，其内部內建了大量實用的功能，實作了訓練和利用階段高度的靈活性和效率。工具庫連結：https://github.com/RUCAIBox/LLMBox。
YuLan大模型：YuLan系列模型是中國人民大學高瓴人工智能學院師生共同開發的支援聊天的大語言模型（名字“玉蘭”取自中國人民大學校花）。最新版本從頭完成了整個預訓練過程，并采用課程學習技術基于中英文雙語資料進行有監督微調，包括高品質指令和人類偏好資料。模型連結：https://github.com/RUC-GSAI/YuLan-Chat。
本書各章節的主要負責人和參與人名單如下：
- 第三章的負責人是闵映乾和楊晨，參與人有李軍毅、周昆；
- 第四章的負責人是張君傑、侯宇蓬和周昆；
- 第五章的負責人是董梓燦，參與人有田震和唐天一；
- 第六章的負責人是唐天一和陳昱碩；
- 第七章的負責人是唐天一，參與人有成曉雪；
- 第八章的負責人是李軍毅和陳志朋；
- 第九章的負責人是陳昱碩、劉沛羽和唐天一，參與人有周昆；
- 第十章的負責人是李軍毅、湯昕宇和都一凡；
- 第十一章的負責人是任瑞陽和蔣錦昊，參與人有李軍毅；
- 第十二章的負責人是張北辰和周昆，參與人有張高玮；
- 第十三章的負責人是周昆，參與人（按拼音字母排序）有蔣錦昊、李依凡、劉子康、孫文奇、王禹淏、徐瀾玲、楊錦霞和鄭博文。
同時感謝其他所有參與本書編寫、校對的同學和老師們。點選“閱讀更多”即可下載下傳中文書！