防止胡說八道！OpenAI 最新大模型訓練方法，監督 AI 像人類一樣思考

作者 | 淩敏、核子可樂

當 AI 一本正經地胡說八道時，需要用“魔法”打敗“魔法”。

OpenAI 正尋求新方法對抗“AI 幻覺”

據 CNBC 報道，本周三，OpenAI 宣布計劃采取一種新的 AI 模型訓練方法，以解決“AI 幻覺”難題。

“AI 幻覺”指的是聊天機器人用編造的資訊進行回應，這是 AI 的自信反應。當模型有“幻覺”（輸出欺騙性資料的傾向）時，其使用的的訓練資料并不能證明輸出的合理性。比如，ChatGPT 或 Bard 等模型有時看似在滔滔不絕陳述事實，但實際内容卻是“一本正經胡說八道”。

OpenAI 研究人員在報道中寫道，“即使是最先進的模型也很容易生成虛假資訊——在不确定情況時，它們往往表現出捏造事實的傾向。這種幻覺在需要多步推理的領域尤其嚴重，其中一個環節上的邏輯錯誤就足以破壞整個解答過程。”

OpenAI 為幻覺問題提出了新的政策：在 AI 模型訓練當中設定新的獎勵機制，不僅獎勵其獲得正确的最終結論，更要獎勵它們在得出答案的過程中做出的每個正确推理步驟。

研究人員表示，這種方法被稱為“過程監督”，而非“結果監督”。由于能夠鼓勵模型更多遵循人類的“思維”方法鍊，是以過程監督方法也許能提高 AI 輸出的可解釋性。

OpenAI 公司數學生成（mathgen）研究員 Karl Cobbe 在采訪中指出，“檢測和緩解模型中的邏輯錯誤或者幻覺，将是建構高一緻性 AGI（通用人工智能）的關鍵一步。”雖然 OpenAI 之前沒有發明出過程監督方法，但如今亡羊補牢，為時未晚。“這項研究的動機在于解決幻覺問題，使得模型具備解決挑戰性推理問題的強大能力。”

Cobbe 還提到，OpenAI 已經釋出一套附帶資料集，其中包含 80 萬個人類标注，用于訓練研究論文中描述的這套模型。

解決“AI 幻覺”難題任重道遠

随着 AI 技術得到廣泛應用，“AI 幻覺”帶來的潛在問題也開始浮現，并引發大衆擔憂。

以谷歌 2 月釋出Bard時的宣傳為例，這款聊天機器人對詹姆斯·韋伯太空望遠鏡做出了錯誤描述。最近，ChatGPT 又在紐約聯邦法院一份檔案中引述了“不存在的”案件，涉案律師可能是以面臨處罰。

美國律師 Steven A. Schwartz 向 ChatGPT 求助，想要為自己訴哥倫比亞國家航空一案找點支援案例，ChatGPT 卻給出了根本不存在的判例建議。Schwartz 聲稱他“沒有意識到 ChatGPT 給出的内容可能是假的”。但從他跟機器人的聊天記錄來看，他還是保持了一絲懷疑，想要進一步檢查這些資訊。但很遺憾，他選擇詢問 ChatGPT 來确認内容真實性，系統則再次做出誤導，向他保證這些虛構判例完全真實合法。

此前在接受《紐約時報》采訪時，OpenAI 的聯合創始人 Ilya Stutskever 曾坦言 AI 幻覺是個大問題，但很有可能被“治愈”：我們現在的做法是雇人教會 ChatGPT 如何表現。你隻需要與它互動，它就能從你的反應中推斷出你想要的東西，比如，你對輸出結果不滿意。是以，它應該在下一次做些不同的事情。我認為這種方法很有可能（a quite a high chance）完全解決幻覺的問題。

随着 OpenAI 最新 AI 模型訓練方法的公布，如何解決“AI 幻覺”難題再次引發讨論。

電子隐私資訊中心進階顧問兼 AI 與人權項目負責人 Ben Winters 對 OpenAI 的訓練方法表示懷疑，稱實際效果要在檢查了完整的資料集和随附示例後才能确定。

Winters 強調，“我隻是覺得單憑這一種措施，不足以在實際應用場景當中顯著降低 AI 生成錯誤資訊和不正确結果的問題……另外，他們會不會把研究成果全面納入産品也非常重要。如果不是，這反而會引發其他嚴重問題，比如操縱模型有選擇地向公衆釋出資訊。”

考慮到還不清楚 OpenAI 論文有沒有經過同行評審或者其他形式的評審，布朗大學技術責任中心主任 Suresh Venkatasubramanian 認為這項研究的意義更多在于初步觀察，而非實際應用。

Venkatasubramanian 指出，“在對此給予肯定之前，首先得等待這項成果在研究領域得到證明。這個世界上，很多結果總會定期出現。因為大語言模型的工作方式總體上并不穩定，是以在某一種設定、模型和上下文中起效的東西，很可能在另一種設定、模型和上下文中毫無作用。人們最擔心的「幻覺」，其實是模型可能捏造的引用和參考資料。但文中沒有能解決這個問題的證據。……我不是說一定解決不了，隻是說這篇論文缺乏相關證據。”

在強調 ChatGPT 局限性方面，OpenAI 做得還不夠

OpenAI 能夠意識 ChatGPT 的“AI 幻覺”問題，但在強調 ChatGPT 局限性方面，OpenAI 做得還不夠。

在 ChatGPT 的首頁上，OpenAI 釋出的一條警告内容稱“可能偶爾會産生不正确資訊”，這也是其系統功能和局限性部分的九條須知之一。但這條警告内容放在任何資訊源上都同樣适用，對于 ChatGPT 這樣一種強大、身處炒作大潮的風口浪尖且容易被嚴重誤解的技術成果，OpenAI 在引導使用者方面做得還遠遠不夠，OpenAI 應該投入更多精力，明确強調 ChatGPT 無法穩定區分事實和“幻覺”。

據 The Verge 報道，過去幾個月間，很多人都被 ChatGPT 的“胡說八道”所愚弄和影響。值得慶幸的是，大多數案例都微不足道，幾乎沒有造成負面沖擊，ChatGPT 最多也就是捏造了一篇新聞報道、一篇學術論文或者一本不存在的書。但在個别案例中，ChatGPT 的錯誤資訊确實可能引發嚴重後果。

今年 5 月，得克薩斯州農工大學的一位教授就使用聊天機器人檢查學生是不是在靠 AI 寫水文章。ChatGPT 倒是非常熱情，表示所有論文都是由 AI 生成的，但卻拿不出什麼真憑實據。教授深信不疑而且大為光火，威脅要讓學生們挂科甚至畢不了業，好在最終大家發現了這個錯誤。

這些事件并不會徹底毀掉人們對于 ChatGPT 等聊天機器人的期待和認可。隻要配合正确的場景和适當的保護措施，這些 AI 工具仍然能在資訊檢索等任務中發揮巨大作用。目前也有各種有趣的研究正在推進，表明此類系統也許能在未來更好地尊重客觀事實。

但當下，這類 AI 産品的局限性需要引起人們足夠的重視。企業需要向大衆強調 AI 産品的局限性，媒體也需要承擔相應的報道責任。

幹預措施并不需要特别複雜，但必須得有。比如，為什麼 ChatGPT 無法識别使用者想要的是事實性依據，并提醒對方“請注意檢查資訊來源”？在使用者要求它判斷特定文本是否由 AI 生成時，ChatGPT 為什麼就不能明确表示“對不起，我沒有能力做出判斷”？

當然，OpenAI 一直在努力改進這些問題。自 ChatGPT 推出以來，它已經變得越來越坦率、會直言自己存在局限性。最經典的表述就是“作為一個 AI 語言模型，我……”。但不一緻問題仍然存在，比如，當問它“你能檢測出 AI 生成的文本嗎？”它回答說“檢測結果不一定準确。”但向它輸入了一大段内容，并提出同樣的問題時，它隻是簡單回答“是的，這段文字是由 AI 生成的。”

此外，當要求 ChatGPT 提供一份測量專業書籍推薦清單時，它給出的答案共有 10 本書，其中不少品質很高，但有 2 本則是完全虛構的。如果不是在刻意檢查，可能根本就不會注意到這個問題。當使用者和 ChatGPT 交流多了，并且驗證後就會發現，ChatGPT 這類 AI 産品經常“胡說八道”。

面對這樣的現狀，“可能偶爾會産生不正确資訊”之類的免責聲明顯然遠遠不夠。

參考連結：

https://www.cnbc.com/2023/05/31/openai-is-pursuing-a-new-way-to-fight-ai-hallucinations.html

https://www.theverge.com/2023/5/30/23741996/openai-chatgpt-false-information-misinformation-responsibility

本文轉載來源：

https://www.infoq.cn/news/RL7iFW2SqO0Ppv4msCsL