新智元報道
編輯：好困 Aeneas 桃子
【新智元導讀】做聊天機器人，OpenAI不是第一家，但絕對是最出風頭的那個。谷歌、Meta、DeepMind、OpenAI的聊天機器人大PK，誰最牛？
前幾天，Meta首席人工智能科學家Yann LeCun的一段對于ChatGPT的點評迅速傳遍圈内外，引發了大波讨論。
在Zoom的媒體和高管小型聚會上，LeCun給出了一段令人驚訝的評價：「就底層技術而言，ChatGPT并不是多麼了不得的創新。」
「雖然在公衆眼中，它是革命性的，但是我們知道，它就是一個組合得很好的産品，僅此而已。」
ChatGPT不算什麼創新
ChatGPT作為這幾個月的聊天機器人「頂流」，早就紅遍全世界，甚至切實改變了一部分人的職業生涯，以及學校教育的現狀。
全世界為它驚歎的時候，LeCun對ChatGPT的點評居然如此「輕描淡寫」。
但其實，他的言論不無道理。
像ChatGPT這種資料驅動的人工智能系統，許多公司和研究型實驗室有。LeCun表示，OpenAI在這個領域并沒有多麼獨樹一幟。
「除了谷歌和Meta之外，還有六家初創公司，基本上都擁有非常相似的技術。」LeCun 補充道。
接着，LeCun小酸了一把——
「ChatGPT用的是以自監督方式進行預訓練的Transformer架構，而自監督學習是本人長期以來一直提倡的，那會兒OpenAI還沒誕生呢。」
其中，Transformer是谷歌的發明。這種語言神經網絡，正是GPT-3等大型語言模型的基礎。
而第一個神經網絡語言模型，Yoshua Bengio早在20年前就提出了。Bengio的注意力機制後來被谷歌用于Transformer，之後更是成為了所有語言模型中的關鍵元素。
另外，ChatGPT用的是人類回報強化學習（RLHF）的技術，也是由谷歌DeepMind實驗室開創的。
在LeCun看來，ChatGPT與其說是一個科學突破，不如說是一項成功的工程案例。
OpenAI的技術「在基礎科學方面并沒有什麼創新性，它隻是設計得很好而已。」
「當然啦，我不會為此批評他們。」
我不是在批評OpenAI的工作，也不是在批評他們的主張。
我是想糾正公衆和媒體的看法，他們普遍認為ChatGPT是一種創新且獨特的技術突破，然而事實并非如此。
在紐約時報記者Cade Metz的座談會上，LeCun感受到了好事者的疑問。
「你可能想問，為什麼谷歌和Meta沒有類似的系統呢？我的回答是，如果谷歌和Meta推出這種會胡說八道的聊天機器人，損失會相當慘重。」他笑着說。
無獨有偶，OpenAI被微軟等金主看好、身價飙升至290億美元的新聞一出，馬庫斯也連夜在部落格上寫了一篇文章嘲諷。
在文中，馬庫斯爆出一句金句：你OpenAI能做啥谷歌做不到的事，值290億美元天價？
谷歌、Meta、DeepMind、OpenAI大PK！
話不多說，咱們把這幾家AI巨頭的聊天機器人都拉出來遛遛，用資料說話。
LeCun說許多公司和實驗室都有類似ChatGPT的AI聊天機器人，此言不虛。
ChatGPT并不是第一個基于語言模型的AI聊天機器人，它有很多「前輩」。
在OpenAI之前，Meta、谷歌、DeepMind等都釋出了自己的聊天機器人，比如Meta的BlenderBot、谷歌的LaMDA、DeepMind的Sparrow。
還有一些團隊，也公布了自己的開源聊天機器人計劃。比如，來自LAION的Open-Assistant。
在Huggingface的一篇部落格中，幾位作者調查了關于RLHF、SFT、IFT、CoT（它們都是ChatGPT的關鍵詞）這些主題的重要論文，對它們進行了分類和總結。
他們制成了一個表，根據公開通路、訓練資料、模型架構和評估方向等細節，對BlenderBot、LaMDA、Sparrow和InstructGPT這些AI聊天機器人進行了比較。
注意：因為ChatGPT沒有記錄，是以他們使用的是InstructGPT的細節，InstructGPT是一個來自OpenAI的指令微調模型，可以被認為是ChatGPT的基礎。
不難發現，盡管在訓練資料、基礎模型和微調方面存在許多差異，但這些聊天機器人都有一個共同點——遵循指令。
比如，你可以通過指令讓ChatGPT寫一首關于微調的詩。
可以看到，ChatGPT非常「識相」，寫詩都不忘拍一下LeCun和Hinton兩位祖師爺的馬屁。
随後激情洋溢地贊頌道：「微調啊，微調，你是一支美麗的舞蹈。」
從預測文本到遵循指令
通常情況下，基礎模型的語言模組化，是不足以讓模型學會如何遵循使用者指令的。
在模型的訓練中，研究人員除了會采用經典的NLP任務（比如情感、文本分類、總結等），還會使用指令微調（IFT），也就是在非常多樣化的任務上通過文字指令對基礎模型進行微調。
其中，這些指令示例由三個主要部分組成：指令、輸入和輸出。
輸入是可選的，有些任務隻需要指令，如上面ChatGPT示例中的開放式生成。
當一個輸入和輸出出現時，就形成了一個示例。對于一個給定的指令，可以有多個輸入和輸出示例。比如下面這個例子：
IFT的資料，通常是人類編寫的指令和使用語言模型引導的指令示例的集合。
在引導過程中，LM在few-shot（小樣本）的設定中被提示（如上圖），并被訓示生成新的指令、輸入和輸出。
在每一輪中，模型會被提示從人工編寫和模型産生的樣本中選擇。
人類和模型對建立資料集的貢獻量像一個光譜一樣（見下圖）。
一端是純粹的模型生成的IFT資料集，如Unnatural Instructions，另一端是大量人工生成的指令，如Super-natural instructions。
介于這兩者之間的，是使用一套規模較小但品質更高的種子資料集，然後進行引導的工作，如Self-instruct。
為IFT整理資料集的另一種方式是，利用現有的關于各種任務（包括提示）的高品質衆包NLP資料集，并使用統一的模式或不同的模闆将這些資料集轉換成指令。
這方面的工作包括T0、自然指令資料集（Natural instructions dataset）、FLAN LM和OPT-IML。
自然指令資料集相關論文：https://arxiv.org/abs/2104.08773
對模型進行微調
另一方面，OpenAI的InstructGPT、DeepMind的Sparrow和Anthropic的Constitutional AI都采用了基于人類回報的強化學習（RLHF），也就是人類偏好的注釋。
在RLHF中，一組模型響應根據人類回報進行排序（例如，選擇一個更受歡迎的文字簡介）。
接下來，研究人員在這些注釋過的響應上訓練一個偏好模型，為RL優化器傳回一個标量獎勵。
最後，通過強化學習訓練聊天機器人來模拟這個偏好模型。
思維鍊（CoT）提示，是指令示例的一個特例，它通過誘導聊天機器人逐漸推理，以此來産生輸出。
用CoT進行微調的模型，會使用帶有人類注釋的分步推理的指令資料集。
這就是那句著名的prompt——「let's think step by step」的起源。
下面的例子取自「Scaling Instruction-Finetuned Language Models」。其中，橙色突出了指令，粉色顯示了輸入和輸出，藍色是CoT推理。
論文指出，采用CoT微調的模型，在涉及常識、算術和符号推理的任務中表現得更好。
此外，CoT微調在敏感話題方面也非常有效（有時比RLHF做得更好），尤其是可以避免模型擺爛——「對不起，我無法回答」。
安全地遵循指令
正如剛才提到的， 指令微調的語言模型并不能永遠産生有用且安全的響應。
比如，它會通過給出無用的回答來逃避，例如「對不起，我不明白」；或者對抛出敏感話題的使用者輸出不安全的響應。
為了改善這種行為，研究人員通過監督微調（SFT）的形式，在高品質的人類注釋資料上對基礎語言模型進行微調，進而提升模型的有用性和無害性。
SFT和IFT的聯系非常緊密。IFT可以看作是SFT的一個子集。在最近的文獻中，SFT階段經常用于安全主題，而不是用于在IFT之後完成的特定指令主題。
在将來，它們的分類和描述應該會有更清晰的用例。
另外，谷歌的LaMDA也是在一個有安全注釋的對話資料集上進行微調的，該資料集有基于一系列規則的安全注釋。
這些規則通常由研究人員預先定義和開發，包含了一系列廣泛的主題，包括傷害、歧視、錯誤資訊等。
AI聊天機器人的下一步
關于AI聊天機器人，目前仍有許多開放性問題有待探索，比如：
1. RL在從人類回報中學習方面有多重要？我們能在IFT或SFT中通過更高品質的資料訓練獲得RLHF的性能嗎？
2. Sparrow中的SFT+RLHF，與LaMDA中僅僅使用SFT，兩者的安全性如何比較？
3. 鑒于我們已經有了IFT、SFT、CoT和RLHF，那麼還有多少預訓練是必要的？有哪些權衡因素？最好的基礎模型是哪個（包括公開的和非公開的）？
4. 現在這些模型都是精心設計的，其中研究人員會專門搜尋故障模式，并根據揭露的問題影響未來的訓練（包括提示和方法）。我們如何系統地記錄這些方法的效果并進行複現？
總結一下
1. 與訓練資料相比，隻需拿出非常小的一部分用于指令微調（幾百個數量級即可）。
2. 監督微調利用人類注釋，可以讓模型的輸出更加安全和有用。
3. CoT微調提高了模型在逐漸思考任務上的表現，并使模型不會總是逃避敏感問題。
參考資料：
https://huggingface.co/blog/dialog-agents