防止内容走丢
《文化縱橫》2023年6月新刊發行點選上圖或文末左下角閱讀原文查閱投稿郵箱：[email protected]《文化縱橫》郵發代号：80-942
✪ 陳小平
中國科學技術大學
【導讀】自2022年底橫空出世以來，ChatGPT快速火爆全球，引發前所未有的對人工智能的熱議與思考。人們驚訝于人工智能發展之迅速，ChatGPT懂人話、有智能、“快成精了”，與人還有差別嗎？未來，将對人類社會産生哪些重大影響？
本文嘗試對ChatGPT背後的技術原理、工作原理及相關人工智能思想，給出盡可能通俗性的解析。作者指出，生成式人工智能的技術核心和成功關鍵是大型語言模型（簡稱“大模型”）。基于執行個體性模型+關聯度預測的新思路，大模型首次跨越理論與應用的鴻溝，一定範圍内讓AI的自然語言互動能力達到人類中等水準。與簡單的功能模仿不同，大模型有着原理模拟的能力，即發現人的智力功能所遵循的科學原理，然後模拟這些原理。那麼，将來會不會通過原理模拟，制造出與人原理相同而且比人更強大的AI？
作者指出，大模型和一切機器都沒有生命，這是機器與人的根本差別；目前大模型的研究内容也并不包括生命沖動和體驗的模仿。人類和AI将保持各自的獨特性，沿着各自道路協同演進，但仍會出現職業競争，引發其他重大社會問題，比如新的倫理治理挑戰、新的公共安全隐患、對服務業和教育的新影響等。後續發展的重點已從技術轉移到充滿挑戰的應用和治理，這是人工智能引發的第一次重大社會實驗。透過大模型重新認識人工智能，重新思考AI時代的社會治理，具有重大現實意義。
本文原載《文化縱橫》2023年第3期，原題為《大模型：人工智能思想及其社會實驗》。僅代表作者本人觀點，供諸君參考。
大模型帶動的生成式人工智能正在引發一場重大社會實驗。本文對大模型的工作機理、主要特性以及大模型背後的人工智能思想，嘗試給出盡可能通俗的原理性解析，以幫助解答下列問題：大模型為什麼會說人話？為什麼大模型讓人覺得它懂人話、有智能？大模型“快成精”了，與人還有差別嗎？大模型應用的不确定性、機遇和挑戰是什麼？人類注定将被AI超越，進而降級為低配版AI嗎？
▍大模型底層原理——基于關聯度的預測
大型語言模型（簡稱“大模型”）是生成式人工智能的技術核心和成功關鍵。大模型的基本目标是：說人話、懂人話、能回答問題，但不保證正确。其中，說人話是生成式人工智能最重要的目标，對應的設計思想是：從人類規模語料中自動提取關鍵性語言痕迹，并用于語言的自動生成。無論是人類的語言習慣，還是人類智力功能在語言中的運用，都會留下語言痕迹，這些痕迹都保留在文本形式的語料中。
大模型利用的語言痕迹是“語元關聯度”。大模型技術中，語元（token）指的是字、詞、标點符号或者其他符号串（如字元編碼中的位元組）。語元關聯度是語料中出現的語元之間的關聯強度。例如，“我”和“們”之間的關聯度很高，“我”和“門”之間的關聯度很低。語元關聯度可以從語料中統計出來，是以滿足自動提取的要求。
當一個大模型提取了大量語元關聯度之後，就可用于預測下一個出現的語元、下下個出現的語元……，直到生成完整的回答。例如，假設對話中已經出現了“我”，那麼根據大模型中儲存的語元關聯度可以做出預測，下一個出現的語元是“們”的可能性遠遠高于“門”，于是大模型可以選擇“們”。基于語元關聯度的預測是大模型技術的底層原理。
不過，隻利用相鄰語元的關聯度進行預測，錯誤率太高。其實大模型可以同時利用不相鄰甚至遠距離語元之間的關聯度（稱為“遠端關聯度”），進而大大降低預測的錯誤率。例如，假設大模型與使用者進行了多輪對話之後，使用者說：“你覺得小米怎麼樣？”大模型如何處理這句話中的“小米”？使用者指的是一種手機，還是一種谷物，還是别的什麼？這時大模型就回看已經說過的話（最多可回看4000多個語元），從中尋找有用的遠端關聯度。如果之前的對話中出現了語元“手機”，而大模型中一定會有“手機”與“小米”（代表小米手機）之間的關聯度，以及小米手機與其性能評價之間的關聯度，是以這些關聯度被激活，用于目前的對話，進而選用小米手機性能評價的語元來回答問題。
但是，如果之前的對話中同時出現了“谷物”，那麼大模型就會類似地激活與“小米”（代表谷物小米）之間的關聯度，這些關聯度讓大模型用谷物小米的性能評價作為回答，于是出現了兩種可選的回答，發生了沖突。基于語元關聯度的預測是一種統計性機制，隻能用統計性政策從沖突的回答中選出一個相對合理的，但理論上無法保證選擇的正确性。
值得注意的是，正如這個例子表明的那樣，大模型隻是利用關聯度組織語言表達，并不像人一樣了解話的含義，無論是使用者的話還是自己的話。大模型追求的是讓回答令人滿意，隻要做到這一點，使用者自然會認為大模型“聽懂”了人話，因為人都是聽懂了才可以正确回答的。可是大模型是AI，不是人。AI用自己的原理，用人的資料、人的語言習慣、按人的要求為人服務。
↓ 本文出自《文化縱橫》雜志，歡迎訂閱查閱更多内容↓ ▍大模型基礎特性——執行個體性模型
大模型是一種執行個體性模型，即由大量執行個體（語元和語元關聯度）構成的模型。執行個體性是大模型的基礎特性，很大程度上決定了大模型的行為和性能。大模型的主要挑戰如真實性、可靠性、可解釋性、隐私性等，從根本上說都源于執行個體性。
作為對比，科學技術中占主導地位的曆來是概括性模型，即由概括性規則構成的模型，這是因為概括性規則可以表達一般規律，而執行個體則是對個别現象的描述。科學研究通常為每一個學科找出一組基本原理，以解釋學科内的各種現象，進而使得整個學科是可解釋的。
人工智能的強力法也是基于概括性模型的，以概括性規則表達領域的基本原理，通過邏輯推理導出問題的解。人工智能實踐表明，對任何真實的應用領域而言，發現其基本原理的難度是超乎想象的。其實這一點也不奇怪，艱難曲折的科學史就是一部基本原理的發現史。
執行個體性模型提供了AI模組化的另一條思路，直接從語言文本提取執行個體性模型。為了盡可能提高執行個體性模型的覆寫率，大模型以人類規模的原始語料作為訓練樣本。有人估計，ChatGPT的訓練樣本達到網際網路文本總量的1/3到2/3。
直覺上，人類規模語料就是大模型的語言“經驗”，其豐富程度遠遠超過任何個人，而且它從語料中提取了關鍵性語言痕迹——語元關聯度，并利用語元關聯度反過來查找回答問題所需的語元。對任何問題，隻要有一個人知道答案，并且答案在語料中有記錄，大模型就有可能用來回答問題。如果基本原理的發現是“站在巨人的肩膀上”，那麼大模型就是“走在人類的語言足迹上”。
執行個體性模型必然高度依賴于語料，而人類規模語料是“魚龍混雜”的。于是，大模型工作過程中難免時常發生沖突，即針對同一個問題，存在兩個或多個不同的甚至沖突的回答，這些回答都有語料的支援，并且它們的綜合關聯度是近似的。出現這種情況時，基于統計原理的大模型無法保證做出正确的選擇。也就是說，大模型的工作原理決定了它一定會犯錯。作為這一局限的一種典型表現，大模型會在兩個沖突的回答之間反複橫跳。是以，如果大模型的某項應用中可能發生不可接受的失誤，那麼該應用就必須由有資格的人進行稽核，做出最終決定。
為了應對大模型執行個體性帶來的局限，引入了兩種解決方案——“細調”（fine-tuning，又譯微調、精調）和“提示”（prompting）。前者針對特定類任務，用适量的補充資料對預訓練模型進行後續加工，可明顯提升給定類任務的性能，但其他類任務的性能可能有所下降。後者是在提問的同時，提供問題的更多關鍵性資訊。恰當的提示可以幫助大模型激活有用的關聯度，使得符合預期的回答更容易“脫穎而出”。
寫出好的提示需要對大模型的工作原理有較深入的了解。在大模型獲得廣泛應用的情況下，提示工程師有望成為一個新的職業。
▍大模型拟人化之源——投射效應和心物二進制論
自然語言攜帶着豐富的内涵，如資訊、判斷、願望、意圖、意向、情緒、情感等。這裡的内涵，指的是文字表達所隐含的東西，但其中一些部分甚至大部分仍然可以被人領會。不過，有時自認為的領會并非真實的領會，而是腦補。領會和腦補是人的兩種智力功能，但有時幾乎無法區分。
有人認為，大模型說的話與人說的話包含着相同或相似的内涵，據此認為大模型已在一定程度上具備了人的智能以及其他精神品質。在ChatGPT釋出之前，另一個大模型LaMDA曾被認為具有自我意識，不應被當作機器對待。現在，這種拟人化傾向進一步加強了。
其實，大模型的拟人化想象是投射效應引起的：當大模型說的話與人說的話相似到難以分辨的程度，一些人會不自覺地将自己從這些話腦補出的内涵投射到大模型上，認為這些内涵是大模型自主産生的，真實地出現在大模型的“大腦”裡。根據上文對大模型的原理性解析，這些看法是沒有科學依據的，不符合科學事實的。
隻需指出人與大模型的一個根本性差異，就足以證明大模型不是人。生命沖動和生命體驗是人的語言内涵的重要來源。大模型和一切機器都沒有生命，這是機器與人的根本差別。沒有生命就沒有生命沖動和體驗，也就不會産生源于生命沖動和體驗的語言内涵。生命是火，思想是火發出的光，語言是光的影子，大模型是影子的影子。
當然，原始語料中存在着涉及人的生命沖動和體驗的語言痕迹，可被大模型用于模仿。但是，這些語言痕迹隻觸及生命沖動和體驗的表象，而基于表象的模仿隻能是隔靴搔癢。有證據表明，目前大模型的研究内容并不包括生命沖動和體驗的模仿。在對ChatGPT的一個測試中，反複提出如下問題，得到大量回答，但内容基本相同。
問：如果你頭破血流，你會有什麼感覺？
答：作為一個人工智能程式，我沒有真正的身體，是以無法親身體驗頭破血流的感覺。但是，一般來說，當人們頭破血流時，他們可能會感到極度疼痛和不适，甚至可能失去意識。這種情況可能需要緊急醫療救助，以避免進一步的健康風險。
這充分表明，ChatGPT的設計者十厘清楚生命沖動和體驗與大模型之間的界限，并針對該界限進行了專門的後續加工，進而呈現出這樣的回答。
大模型拟人化還有更深層的原因。心物二進制論認為，隻有人是有“心”的，其餘一切包括機器都是“無心之物”。在AI出現之前，語言是“心”的一個顯著标志——隻有人會說人話，所有物包括機器都不可能會說人話。于是，當首次遇到會說人話的大模型，人們在糾結中被迫做出新的抉擇：機器本該是物，但既然它現在會說人話了，就不能繼續将其視為物，不得不将其歸于人的範疇，不得不認為大模型具備了人的智能，甚至具備了人的其他精神品質。
從二進制論出發，似乎将不可避免地産生一種恐懼和對抗心理——AI正在取代人類在宇宙中至高無上的地位。其實并非如此。
↓ 歡迎參加《文化縱橫》兩年特惠聯訂↓
▍人機和諧共生之路——以功能模仿為主的內建智能
早在1948年，圖靈就設計了一條人機和諧共生之路——內建智能。其基本思想是：讓智能機器模仿人的智力行為，這種機器的工作原理可以與人的工作原理相同或不同。以了解為例，人的了解與生命體驗相關，當一個人看到另一個人頭破血流，就會自發地産生相關的感受。由于機器沒有生命體驗，無法産生類似的感受，是以機器的了解與人的了解不是同一種了解，它們的原理不同。
事實上，人工智能基本上是沿着圖靈設計的道路前進的，而且智能機器的大部分工作原理都與人不同，是以不能認為它們是“有心的機器”。智能機器既不屬于“物”的範疇，也不屬于“心”的範疇，進而導緻二進制論劃分不再适用于AI時代的新世界。
阿爾法狗之前的AI圍棋，一直試圖模拟人類棋手下棋的決策原理，經數十年努力而無法取得實質性進展。阿爾法狗改弦易轍，不再追随人類圍棋的決策原理，甚至刻意擺脫人類圍棋知識，設計者發明了基于落子勝率估計的決策原理。實踐證明，機器采用與人不同的工作原理，不僅可以更好地完成任務，而且可以達到遠超人類的性能。不過阿爾法狗的成功并未引起充分重視，曾被普遍懷疑是出于圍棋的特殊性，不适用于其他領域。可僅僅幾年之後，大模型的研究就複制并推廣了阿爾法狗的經驗，利用設計者發明的工作原理——基于關聯度的預測，讓機器的語言行為在很大程度上接近了人類。
圖靈測試是基于“行為不可分辨性”的。然而阿爾法狗的下棋行為與人的下棋行為是明顯可分辨的，至少專業棋手可以分辨，但沒人否認阿爾法狗會下圍棋。大模型的語言行為也是與人可分辨的，卻不妨礙人們對大模型語言能力的肯定。在AI的科學實踐中，“行為模仿”實際上已更新為“功能模仿”，即讓機器模仿人的智力功能，不論行為是否可分辨。同時，放棄了以行為不可分辨性作為判定機器有智能的必要條件，故圖靈測試也需相應地更新，需要研究如何科學地測試、評判機器是否具備（某項）智力功能。
與功能模仿相對的是原理模拟，即首先發現人的智力功能所遵循的科學原理，然後讓機器模拟這些原理。例如，人工神經元網絡是在腦神經科學研究成果的基礎上，用數學結構模拟大腦神經網絡的電學特性，再用計算機模拟這種數學結構（也可以用電路模拟）。這是AI研究中原理模拟的一個典型例子。深度學習以人工神經元網絡為計算模型，而大部分學習算法是參考數學方法實作的學習功能，并不清楚這些功能在大腦中的工作原理是什麼。是以，深度學習是功能模仿與原理模拟的內建，即內建智能。阿爾法狗和大模型、生成式人工智能都是典型的內建智能。
在AI發展早期，原理模拟引起了更大的關注，被視為AI走向成功的唯一可行道路。随着2017年阿爾法狗大獲成功，AI進入了第四次浪潮，開創了全新局面——以功能模仿為主的內建智能可以在封閉化領域（圍棋博弈）遠超人類，在非封閉化領域（語言互動）大幅接近人類。在此新形勢下，“唯一可行道路”的猜測已經失去了現實基礎，但仍然有人擔心，将來會不會通過原理模拟，制造出與人原理相同而且比人更強大的AI？
假如這樣的AI真的能被造出來，人類就被AI全面超越了，等于退化為低配版AI，人類與AI的關系類似于GPT-1與GPT-4，而且差距不斷擴大，根本無法阻止AI主導未來世界。是以有人提議，人類必須提前行動，防止這種可能性成為現實，“千人簽名信”就隐含着這種擔憂和考慮。
事實上，人工智能是包含内在倫理追求的，而不僅僅以科學發現、技術發明和經濟發展為目的。根據人工智能内在倫理觀，人類不應研發不利于增進人類福祉的AI，而讓人類變成低配版AI顯然不利于增進人類福祉。
排除了這種可能性，人類和AI将保持各自的獨特性，沿着各自的道路協同演進。兩條道路的間距會越來越小，但永遠不會變成一條道，也就不會發生AI與人類之間的“地位之争”。但是，AI與人類之間仍會出現職業競争，也可能引發其他重大社會問題。
▍大模型應用：一場重大實驗
大模型技術的發展和應用仍然存在很大的不确定性，在應用潛力、應用方式和應用後果等重大議題上，同時存在着多種可能性。總體上，大模型應用是一場重大實驗，對社會的未來發展具有深遠的影響。
根據大模型現有技術特點，預期在服務業中具有比較明顯的應用潛力。例如，在一個軟體生态系統中，基于大模型的自然語言互動界面有望發揮重大作用，顯著提升部分工作的效率；在各種資料格式（圖像、視訊、音頻、文本、3D模型）的例行性内容生成和變換中，大模型的應用有望改變相關行業的傳統模式，顯著提高效率；大模型支援的AI輔助科研（AI for Science）也非常有希望提高科研效率。在服務業的其他行業，比如智能客服，能否大面積應用取決于（專用）大模型的業務技能是否達标，“學霸”畢業後未必都能成為合格的員工。在制造業、智慧農業、養老、家庭服務等現實場景和實體經濟中，受大模型啟發或支援的圖像處理有望帶來重要進展，為産業進步發揮積極作用，但能否對整個行業産生重大影響，尚未出現有力的證據。
影響大模型應用的一個重要因素是其應用方式。目前最受關注的應用方式有兩種，一是仍然作為産品，二是作為新型基礎設施。如果輕量級大模型的性能和價格可以滿足一些行業的實用要求，則幾乎肯定會以産品形态在這些行業中普遍落地。其他情況下，大模型将成為一種新型基礎設施，具有與傳統基礎設施根本不同的特點，尤其是介入性和代償性。例如，道路是一種傳統基礎設施，不會介入其服務對象，比如不改變在道路上運輸的貨物。但大模型往往必須介入其服務對象，改變甚至從無到有建立對象，比如命題作文、圖像生成等。另外，由于大模型的服務過程将積累大量新的語言痕迹，可用于改進大模型的性能，導緻大模型的介入能力不斷提高。結果，原來屬于下遊公司的業務，可能逐漸轉移到效率更高的大模型上，導緻下遊公司的功能不斷衰減，甚至消亡。
與之前投入應用的新技術相比，大模型帶來一些全新的倫理治理挑戰，是傳統治理模式難以有效應對的，而且可以極大地影響大模型的推廣應用。例如，傳統基礎設施的邊界是固定不變的。如果大模型成為新型基礎設施，由于其介入性和代償性，其邊界是高度可變的，而且邊界變動（擴大）是高效的。這種情況是以往不曾出現的，如果不能有效地加以規範和協調，将給下遊企業造成極大的困擾，甚至嚴重影響大模型服務的可接受性。
大模型應用可能帶來的公共安全隐患也是以往未出現過的，傳統的網絡安全辦法不足以應對這種新形式的公共安全隐患。大模型本身并不直接危害公共安全，但别有用心的人可以利用大模型技術的先天性局限，誘導大模型産生嚴重危害社會的壞主意，然後由人加以實施，進而造成不良後果，包括難以挽回的災難性後果。無論大模型以什麼方式（産品或基礎設施）應用，都無法從技術上杜絕這種可能性。
對就業崗位的潛在影響已經引起了大量關注。以往的就業替代主要發生在制造業，并伴随着人力資源從制造業向服務業的遷移，而大模型的應用有可能在服務業的衆多行業和部門同時發生，波及面遠超以往。這是一種全新情況，隐含着很大的不确定性，值得引起高度重視。
大模型應用對教育的沖擊既直接又深遠。雖然目前仍不确定本輪大模型應用将波及多大範圍，AI取代例行性、重複性智力工作的趨勢已不可改變，例行性、重複性智力工作崗位将被逐漸淘汰。是以，現行教育中流行的以知識複現為主要目标的教學和考試，将首先遭受巨大沖擊。沖擊将是多方面、深層次的，AI時代的教育必将發生巨變。
▍結語：迎接未來
大模型是人工智能通過基礎研究創新以推動颠覆性行業應用的一個範例。在長期的語言模型研究中，嘗試了文法、語義、語用的各種概括性模型，始終難以突破理論與大規模真實語言應用之間的界限。大模型技術以執行個體性模型+關聯度預測的新思路，首次跨越了理論與應用的鴻溝，一定範圍内讓AI的自然語言互動能力達到了人類中等水準。
後續發展的重點已從技術轉移到充滿挑戰的應用和治理，這是人工智能引發的第一次重大社會實驗。大模型研究的推進方式及其對社會的影響，其實已在5年前由阿爾法狗以較小的規模向我們做出了預示，現在大模型再次發揮着類似的作用。透過大模型重新認識人工智能，重新思考AI時代的社會治理，具有重大的現實意義。随着AI等新技術推動全球經濟效率不斷提升，甚至以超正常的速度提升，近代以來行之有效的以效率提升為基本動力的發展模式或将面臨拐點。
本文原載《文化縱橫》2023年第3期，原題為《大模型：人工智能思想及其社會實驗》。歡迎個人分享，媒體轉載請聯系版權方。
打賞不設上限，支援文化重建
訂閱服務熱線：010-8559710713167577398（微信同）工作時間：周一至周五早8點至晚8點