在OpenAI釋出的ChatGPT引發了科技圈的熱烈讨論之後，近期，GPT-4也終于釋出，登上了網際網路的大舞台，而且從測試結果可以看出，GPT-4的表現比前一代又有了很大的提高 與之前的産品相比——ChatGPT(Chat Generative Pre-trained Transformer )在大範圍連續對話能力、生成内 容品質、語言了解能力和邏輯推理能力上都得到顯著的提升，超出了大部分人對一款聊天機器人的效果預期。
生成式AI(AIGC) 極為關鍵的發展節點。作為一款生成式預訓練大語言模型，“Chat”指向它的功能，“Generative”代表它屬于生成式 算法。生成式算法在過去數年中受制于RNN的内生缺陷始終發展緩慢，直到2017年 “Transformer”架構出現并解決了 傳統RNN模型的問題，生成式AI才開始在預訓練的Transformer架構之上煥發生機，NLP、CV甚至多模态領域通用基礎 大模型飛速演進。在模型參數量幾何級數增長以及多種訓練方式的探索之中，ChatGPT橫空出世，也标志着通用基礎大模型将突破NLP領域以小模型為主導的傳統發展範式。
RHLF指令精調+能力湧現，讓大模型說好“人話”
ChatGPT具有的驚人效果，是在超大預訓練語言模型GPT-3.5基礎上，進一步根據人的需求目标進行模型調優的結果。巨 大的參數量和預訓練資料量讓GPT-3.5成為一顆儲備了大量知識，并且具備語言生成能力的混沌“大腦”，再使用人類反 饋強化學習(RHLF)的方法進行指令精調，将模型的各項能力激活，并以符合人類的需求、偏好和價值觀的方式有效釋 放，同時大大提升了模型應對從未見過的新指令的能力。此外，ChatGPT在邏輯推理、上下文了解等方面的能力，是模 型參數量達到該量級後“湧現”出的，即所謂的“大力出奇迹”，這一現象在其他預訓練大模型中也得到了印證。
ChatGPT能力實作解析
1 基礎大模型:說胡話的混沌大腦
GPT采用神經網絡架構，由 128層網絡和1750億參數組成，并使用 45TB資料進行訓練。此時大模型已經具備了許多能力，但是不懂得如何發揮效果。
2 模型微調:溝通體驗感更相似于人類
指令精調根本目的是希望模型能夠生成符合人類需求和 偏好，并且具有較高安全性和正确性的回答。在這一階 段大量使用了人工标注的方法，同時通過形成獎勵模型，讓GPT能夠脫離人工指引，自動通過不斷地“考試”， 進行模型調優。
3 能力湧現:大力出奇迹
大模型具有的部分能力是在模型參數量達到一定規模後突 然出現的，随着模型參數指數級增長，這些能力呈明顯的 線性增長。上圖示範了在提問裡給出推理過程範例，模型 就能給出具有同樣推理邏輯的回答(Chain of Thought) 這項能力在LaMDA、GPT和PaLM三個模型上的演變過程。
是否存在趕超機會，中外差距短期難以追平？
與ChatGPT功能對标的大語言模型(Large Language Models, LLMs)，目前國外主要有Google推出的Gopher、LaMDA 以及Meta的Llama等;國内為百度首發的“文心一言”、360釋出的大語言模型、阿裡釋出的“通義千問”、商湯釋出的 “商量”等。雖從對話和文本生成的直覺體驗看ChatGPT略勝一籌，但對于Google等國外大廠而言，克隆ChatGPT并不 存在太高壁壘，目前暫時落後主要是出于公司戰略與技術理念差異，選擇了不同技術路線，随着各家探索成果和新技術方 法的實踐不斷推進，仍存在對GPT系列模型趕超的可能。對百度等國内大廠而言，則在資料、算力、工程化能力等關鍵要 素上存在短闆，短期内難以對國外領先大模型實作趕超，為跟随者角色，長期更需要國内AI全産業鍊整體進化。
國内外主要大語言模型發展路徑對比
服務于各公司戰略業務拓展，形成差異化商業路線
商業模式上，ChatGPT已經明确指向API、訂閱制和戰略合作(嵌入微軟Bing、Office等軟體)三種營收方式，且已在用 戶資料積累、産品布局和生态建設層面充分領先;Google雖有意追趕，但由于聊天機器人這樣的産品形态對于其主營的 搜尋引擎業務的助益有限，是以在與搜尋引擎結合方面較為審慎，更希望借助大模型能力開展“模型即服務”範式，開拓 其目前市占率較低的雲服務業務的市場空間。作為國内大模型的标杆企業，百度的選擇與Google更為類似，“文心千帆” 産品劍指B端市場，意圖帶動雲服務營收。
垂直基礎大廠模型廠商與應用開發廠商需在視窗期加快建立“資料飛輪”壁壘
此輪基于ChatGPT的大模型浪潮興起伊始，結合大陸AI産業鍊與競争格局現狀，一種判斷是:基于大模型的通用和泛化 性提高，未來手握通用基礎大模型的巨頭企業會逐漸侵蝕垂直領域廠商業務。這種壓力長期來看的确存在，但大模型與産 品結合，尤其在非檢索或開放域互動等場景中，需要依賴垂直領域資料和行業know-how、應用場景和使用者資料反哺、一 站式端到端工程化能力等。在此視窗期，垂直領域與應用層廠商應積極将大模型能力整合入自己的技術棧，服務于産品功 能優化，建立“資料飛輪”壁壘。在下遊豐富的基于大語言模型、AIGC應用開發需求的影響下，還将分化出一類工具型 或平台型廠商，主要提供基于各類大模型的開發平台服務，幫助客戶實作便捷的AIGC應用開發與落地。
中國大語言模型産業參與廠商類型與定位邏輯
通用基礎大模型廠商通 過海量資料 自研大模型 後，一般經 過垂直領域 資料調優、 縮小模型量 級首先服務 于自身業務， 達到降本增 效、提高營 收等效果。 後開放服務， 賦能B端或C 端客戶
定位分化原因：
•通用基礎大模型在高商業價值的内容輸出 方面能力較弱且在産出結果的可信程度上不 可控，需要垂直領域know-how與資料調優;
•在資料開放度低的行業領域，如能源、政 務、金融、電力、通信等，通用基礎大模型 缺少高品質資料集支撐;
•在落地實施層面上，不具備調優與二次開 發能力的企業需要端到端的大模型開發及部 署服務，以控制部署成本
來自同賽道内部和外部巨頭的競争日益激烈：
垂直基礎大模型廠商:具備一定算力、資金 和技術實力的垂直賽道廠商，可基于多家開 源模型和資料，進行垂直基礎大模型自研。 一般該類型廠商亦會橫跨模型層與應用層
應用開發廠商:不具備充足算力和資 金的廠商，可基于API進行AIGC相關 應用産品開發，依托巨頭生态打磨産 品與拓客
工具層廠商:負責承擔大模型調優工作，服 務于應用開發或解決方案廠商，可能逐漸向 平台型發展
•大模型改變 了AI産業的 技術流通路 徑和生産方 式。在促進 AI工業化進 程的同時， 優化了應用 的産品功能、 拓寬了應用 層市場
•大模型是 AIGC産業發 展的基石
産業加速發展中，産業價值鍊格局初顯
GPT模型成為科技封鎖和保護主義對象的趨勢初現端倪
國家層面對于目前世界上最優秀(從使用者生态到商業落地層面評估)的AIGC公司——OpenAI和其核心産品ChatGPT的 态度也比較慎重。比如，意大利宣布封禁ChatGPT并限制OpenAI處理意大利使用者資訊;大陸A股多家企業也釋出公告披 露“公司未與OpenAI開展合作，ChatGPT的産品和服務未給公司帶來業務收入”。
同時，ChatGPT平台也封禁大量 OpenAI賬戶，其中包括部分使用中文進行對話的使用者。作為新興科技生産力，ChatGPT成為科技封鎖和保護主義對象的 趨勢初現端倪。從大陸所處的追趕者角色看，類ChatGPT産品及其下遊應用産業對于國家數字經濟發展的戰略意義不容 忽視。半導體産業“卡脖子”的前車之鑒發人深省，OpenAI的成功再次暴露了中美兩國不僅在AI算力層面差距巨大，在AI算法和底層架構等層面也存在代際差距。大陸AIGC産業發展需立足長遠戰略，布局大模型技術研發、商業落地、生态建設與産業治理。