ChatGPT——通用人工智能時代的“火花”

2022年11月，美國人工智能研究實驗室OpenAI推出了自然語言處理工具機器人ChatGPT。與現有其他智能機器人産品相比，其智能化程度有着颠覆性的提升，不僅能通過連接配接大量的語言庫來訓練模型，做到能夠模拟人類自然對話方式，還可以進行更為複雜的語言工作。一經推出迅速爆火，成為曆史上增長最快的消費者應用程式，不斷引發各個行業的廣泛關注，拉開了通用人工智能時代的序幕。

ChatGPT是什麼？

要回答這個問題，得先知道一個概念——通用人工智能（AGI），指一種能夠像人類一樣在各領域中執行各種任務的智能系統，具有類似人類的智慧、自主決策和學習能力，能夠執行多種任務，包括語音識别、自然語言處理、視覺識别等。當然，現階段人類離發展出真正的通用人工智能還很遠，但ChatGPT已經能讓我們看到一絲“火花”。

從應用角度看，ChatGPT屬于一個利用AIGC（AI generated content）技術的人工智能生成内容産品。它的核心思想是利用人工智能模型，根據給定的主題、關鍵詞、格式、風格等條件，自動生成各種類型的文本、圖像、音頻、視訊等内容。AIGC技術廣泛應用于媒體、教育、娛樂、營銷、科研等領域，可以根據使用者的需求和偏好，生成符合使用者期望的内容，節省人力和時間成本，提高内容生産的效率和規模。

從技術角度講，ChatGPT是基于大型語言模型的自然語言處理工具機器人，核心就在GPT三個英文字母上，全稱是Generative Pre-trained Transformer，翻譯是“生成式預訓練轉化器”，它可以通過海量的預訓練來生成高品質的自然語言文本，并且可以适應多種不同的自然語言處理任務。所謂語言模型就是對詞語序列的機率分布的模組化，即利用已經說過的片段作為條件預測下一個時刻不同詞語出現的機率分布。語言模型一方面可以衡量一個句子符合語言文法的程度，同時也可以用來預測生成新的句子。比如這句話“12點了，下班了，咱們一起去食堂吧”，語言模型可以預測“食堂”後可能是“吃飯”，強大的語言模型能夠捕捉時間資訊并且預測産生符合語境的詞語“吃午飯”。

ChatGPT為什麼這麼厲害？

GPT模型的底層邏輯其實就是模仿人腦。人腦的神經元通過樹突接收資訊，胞體進行簡單的加和運算，最後通過軸突把結果輸出到下一個神經元，而包括GPT在内的所有的人工智能神經網絡就是類似的建構方式。ChatGPT和以往的人工智能不同的是，它的模型用來學習的語料庫非常龐大，2020年5月的GPT-3，參數量達到了1750億。GPT-4的參數量更是達到了1.6萬億。同時，它還使用新的訓練方法和優化技術，提高了模型的效率和穩定性，成為一個多模态大模型，可以處理文本、圖像、音頻等多種類型的輸入和輸出。

OpenAI采用了一種叫“從人類回報中強化學習”的訓練方式對GPT模型進行訓練，通過人類的回報，有針對性地進行優化，進而讓ChatGPT更加智能。訓練的過程簡單地說可以分為三個步驟：第一步訓練監督政策模型。就是先學習來自網絡的文本資料，在資料集中随機抽取問題得出随機答案，然後由人類标注人員給出高品質答案，再用這些人工标注好的資料來微調GPT模型，使模型一定程度上了解人類的意圖。第二步訓練獎勵模型。使用第一階段生成的模型，在資料集中随機抽取問題，對于每個問題，生成多個不同的回答。人類标注者對這些結果綜合考慮給出排名順序，這一過程類似于教練或老師輔導。接下來，使用這個排序結果資料來訓練獎勵模型，使模型模仿人類評分标準給不同的回答打分，進入模仿喜好階段。最後，根據打分更新參數，強化模型的學習，得出高品質回答。第三步采用PPO（近端政策優化）強化學習來優化政策。這一階段利用第二階段訓練好的獎勵模型，靠獎勵打分來更新預訓練模型參數。在資料集中随機抽取問題，使用PPO模型生成回答，并用上一階段訓練好的獎勵模型給出品質分數。把回報分數依次傳遞，通過強化學習的方式以更新PPO模型參數。不斷重複第二和第三階段，通過疊代，就會訓練出更高品質的GPT模型。實質上，整個訓練過程和教小朋友數學差不多。就是先上課給例題，然後給作業，再針對作業打分後挑出一些總是出錯的題目再進行有針對性的練習。

ChatGPT有哪些局限性，帶來哪些風險？

盡管ChatGPT已經很厲害了，但依然具有很多局限性。一是可信性無法保證。目前模型還不能提供合理的證據進行可信性的驗證，在其未經大量語料訓練的領域，甚至會一本正經地“胡說八道”和創造答案，語句通暢貌似合理，但其實完全大相徑庭，可能會造成誤導或者誤解。二是時效性不足。ChatGPT無法實時地融入新知識，其知識範圍局限于基礎大規模語言模型使用的預訓練資料時間之前，可回答的知識範圍有明顯的邊界。例如，ChatGPT可能不了解最近發生的新聞、事件、人物、産品等，或者對一些變化了的事實沒有及時更新。三是建設成本高昂。ChatGPT需要非常大的算力來支援其訓練和部署，應用時也需要大算力的伺服器支援。四是在特定專業領域表現不佳，無法處理複雜冗長或特别專業的語言結構。對于來自金融、自然科學或醫學等非常專業領域的問題，如果沒有進行足夠的語料訓練，ChatGPT可能無法很好地翻譯出專業術語，更難生成适當的回答。

實際上，ChatGPT的進步并不在于它真正的變聰明了，而是初步模仿出了人類的語言模式，但是它還遠不能真正了解自己說的内容，呈現的其實是種“表面智慧”。本質上并沒有擺脫人工智能“大資料、小任務”的大樣本被動學習模式，也就是當你問ChatGPT一個問題後，它完成這個任務是憑借巨大的資料庫而生成的，而不是像人類一樣的思考、反思和判斷。

除此之外，ChatGPT超乎以往的智能化就像一把“雙刃劍”，帶來便利的同時也引發了一系列的思考。ChatGPT的“知識”來源于在語言模型訓練過程中的海量文本，如果訓練文本的内容存在偏差，有意偏向某種意識形态或觀點，那麼在回答問題或輸出文本的時候就有可能産生具有傾向性的回答和文本内容。ChatGPT的使用門檻低，大量的使用者缺少相關專業知識和辨識能力，很難驗證資訊的準确性，可能會産生海量的無用甚至是誤導性資訊。如果被不法分子亂用，可以借此快速産生仇恨言論、謠言等，用來煽動民族情緒、挑起社會沖突等，對社會和諧穩定造成不良影響。另外，ChatGPT也帶來了一系列學術倫理問題，例如論文造假等。

ChatGPT是AIGC技術進展的裡程碑，使得利用人工智能進行内容創作的技術成熟度大幅提升，有望成為新的全行業生産力工具，提升内容生産效率與豐富度。在人類科技史的長河裡，ChatGPT剛剛點起通用人工智能時代的“火花”，距離真正的通用人工智能還有很長的路要走。

來源：《群衆·大衆學堂》雜志2023年第3期

作者：趙 熠 （作者機關：金陵科技學院）

責任編輯：王昆鵬