張峥、小白（章靜繪）
最近幾個月，以ChatGPT為代表的聊天機器人引起全世界的廣泛關注。GPT是如何工作的？它會有自我意識嗎？人工智能将對我們的社會、文化、知識系統造成何種沖擊和重構？奇點到了嗎？未來人類有能力與人工智能“抗衡”嗎？《上海書評》特邀亞馬遜雲科技上海人工智能研究院院長、上海紐約大學計算機系終身教授張峥和作家小白對談，讨論人工智能的訓練方式及其在未來的可能走向。
小白：首先要請你介紹一下GPT這類預訓練大模型的算法工作原理，貝葉斯、計算網絡、思維鍊，諸如此類，把這些專業知識一次性簡單介紹一下，然後我們就離開這些術語，讨論一下這個突然之間降臨的人工智能可能會對我們的社會、文化、知識系統造成的沖擊和重構。
張峥：GPT的基礎是大語言模型，這些大模型本質上在訓練的時候是在做接龍遊戲——把下一頁書給寫出來——但它們有兩點是遠超人類的，第一是海量閱讀，第二是其中有百分之十的資料是非常結構化的代碼（以及代碼周圍的注釋）。大緻的結果就是模型中既存了知識（更準确的說是知識的碎片），又存了勾連知識碎片的邏輯，參數上大概是二比一這個樣子。舉例說，“着火了，趕緊跑”，這個動作的順序是邏輯，“火”和“跑”是知識。我認為在大模型裡面不存在純粹脫離知識的邏輯，也不存在不被某種邏輯連帶的知識，這兩個加起來就是一個所謂世界模型（World Model）的雛形。這是一個大緻準确的描述，大模型内部具體是如何工作的，學界都還沒有一個定論。
小白：我們很多作家一開始心裡有點慌，覺得能替代人類作家的機器來了，飯碗要被砸了。後來上機器一試，發覺一大堆車轱辘話，有些甚至是瞎扯，心裡就有點笃定了。我想他們可能沒有了解：一個能夠準确預測“下一個字”是什麼的機器，其實是對整個世界了如指掌了。那不僅是讓機器吃下去一大堆文本，然後讓它重新組合的事。是通過訓練機器預測下一個字，訓練它了解世界，了解人類的想法。就寫作來說，我這幾天一直在用GPT4。上兩代GPT我都有接觸過，甚至試着用它們來幫助完成寫作任務。除了确實感覺到GPT4驚人的提升速度，也體會到這種“造句接龍”、這種自回歸語言模型的讓人撓頭之處，它不能回溯性地修正，是以語句常常很啰嗦，有時自相沖突。我們人類寫作很多時候會把某一層意思在前面段落“懸置”一下，或者把某一層意思一直“延宕”到後面段落說出來，這個它好像很難做到，有希望改進嗎？
張峥：在大模型向對話機器人轉換的過程中，有一個思路特别清奇而且有效的想法，就是既然能接龍，那何不把具體的任務，或者思考過程也作為接龍的一部分示範給大模型看，讓它具有自問自答的能力呢？這種方法的本質是把存儲的知識和邏輯定向賦能給人類需要的任務。其他的手段，和訓練圍棋機器人比較類似，但有一點，圍棋的左右手互搏是實作圍棋上帝的手段，因為輸赢是确定的，用自然語言定制任務，是開放性的，不好實作。現在的訓練方法用了一些偷巧的近似，但我認為正是那種近似導緻了GPT有時候會胡說八道，颠倒事實。現在大模型回答的時候，基本上是過一遍腦，沒有反刍、回溯、自我批評等功能，New Bing在不确定的時候會去聯網搜尋，但那隻是擴充資料，不過這都是學界知道的問題，包括我的團隊都在進行探索。就目前來講，要做到像小說《流俗地》那樣把線頭埋得那麼多、那麼遠，能前後呼應，最後又能提得起來，大模型還有很遠的路要走。
小白：按你先前說的，感覺大模型從結構設計上看，某種程度上有點像人腦。人腦也是把由自然語言表述傳達的記憶拆解成碎片，存儲在大腦裡，一些記憶單元負責存儲“知識點”，另一些則負責存儲結構和關聯性。雖然我們現在仍不知道它們究竟存儲在什麼地方，有說是在突觸，也有說是在神經元細胞内部，DNA、RNA。從表面上看，GPT甚至在工作方式上也跟人類相似，就是把那些碎片重新組合成有意義的、可以由自然語言表述的内容，但那僅僅隻是表面上。因為神經元網絡與大模型計算網絡有一些本質上的不同，神經元網絡是通過刺激突觸互相連接配接組成的，它可以随時建立新連接配接新路線，而且突觸連接配接十分易變，神經元不斷合成新蛋白，接受到新刺激，突觸就生長出新連接配接，也會切斷舊連接配接，也就是遺忘。這個能力大模型即使采用分布式計算邊緣計算也不太會具備。這不僅讓人腦更有效率更節能，而且實際上，“記憶”和“遺忘”這一對人類大腦固有特性，實際上是人類整個文化曆史、整個文明的真正本質所在。我們的曆史建基于其上，我們人類的一切創造活動都是基于這個特性來工作，如果沒有遺忘，人腦幾乎不可能有創造性成果，因為神經元突觸建立新連接配接，并不像大模型，采用貝葉斯計算網絡，在數學上相當精确，而且神經元突觸受到刺激，開始生長，選擇與另一個神經元連接配接并不根據機率和權重的計算，它更像是某種不間斷的“聯想”。這兩種連接配接方式各有短長，是以我認為，或者說我猜想人類未來相當長一段曆史當中，人和機器都應該互相親密合作，每個人都要熟練地與他自己的模型一起工作，甚至腦機連接配接，你覺得呢？
張峥：在這點上，我的看法和你差别比較大。我認為任何一個智能體，都需要對周邊的環境的獎勵和危險敏感，“計算”應該采取什麼樣的行動，“算計”給對手使什麼絆，并且能“俯視”自己正在執行這一串操作，這最後一點是自我意識的根本。
從這個角度來說，一個智能體采取何種方式實作這樣的功能，我認為有很大的偶然性，也有很大的自由度，是以不必拘泥于是用人工神經網絡，還是用“湯湯水水”的腦神經元來實作。理想狀态下機器應該作為人類的親密小三，但不是基于材料的原因。
小白：總的來說，我其實也贊同自我意識并不神秘，如果一個大模型一面在執行計算任務，與之同時又還能模拟自身運作包括目前正在進行的計算過程，一個内嵌的、遞歸的模拟器，也許就能構成這個模型的自我意識。而且我也和你一樣，相信大模型某一天會偶然地實作這種自我模拟。但這種對“自身行動”的“俯視”，在不同物種當中，表現并不全然相似。人工智能體如果具有自我意識，它也與人類自我意識有所不同。就好像先前說到的記憶與遺忘，正如你所說，機器的遺忘是覆寫，是徹底忘記永遠無法恢複，它要麼完全備份牢牢“記住”，要麼徹底遺忘，而對于人類，“記憶”和“遺忘”是一件事情的兩面，我們的記憶存在于遺忘之中，正是這互為依存的兩者，構成我們的獨特個體經驗。當我們人類個體在進行創造性活動時，比如寫小說，我們不是直接用“知識”來寫作，而是使用那些介于記憶與遺忘之間的“經驗”。
張峥：是的，自我意識不過就是俄羅斯套娃，自己“俯視”那個在“思考”“感覺”的另一個自己，隻要一個智能體的環境足夠複雜，必然有自我意識的湧現。當大模型在進行強化學習的時候，外面還有一層是作為環境對模型的性能打分，這兩個在一起，已經完成了套娃結構，可以說在訓練的時候是完全有自我意識的，在實際運作的時候最外面套娃現在一般不用，但可以用，而且一般人說話的時候并不過腦，過程和隻有一個套娃在裸奔一樣，都是所謂的“系統1”思考者（system1，見Slow and Fast一書）。比較有趣的一點是，AI可以完成無數層自我嵌套，無數個自我意識。
認為自我意識是唯獨人的專有，是人類自我中心的展現。類似的狂妄自大太多了。我讀過不少文章，說明動物界中存在着廣泛的自我意識，所謂“鏡子測試”（Mirror test）隻是測一小撮和人類生存環境相似的動物，依然展現了人類自我中心的自大症。
小白：其實我們人類也可以憑空虛構很多個自我意識，除了人格分裂症患者，小說家也可以——
張峥：沒錯，不過差別在于，人類的多個自我會是并行存在，雖然會切來切去。這個機器也行，不過它還能嵌套，就像《盜夢空間》（Inception）那個電影一樣。
在某些方面，AI超越人腦是極其自然的，比如它可以有各種外挂，也可以選擇永不忘記，要做到這一點隻要像你我一樣，過一段就把電腦内容備份就完事了。不過，你說得對，多一個固定容量的模型，在吸收新知識的時候，必然會有遺忘的現象。事實上，AI的問題更嚴重一點，是覆寫，而不是遺忘，也就是說可能永遠恢複不出來的，在學界，這叫做“災難性遺忘”，人腦可能不是真的遺忘，而是在一般情況下“忘詞兒”了，取不回來了。記憶和遺忘這一對冤家要當真是小說家的利器的話，那我覺得這也擋不住AI的腳步，它既然可以有擁有無數副本永不忘卻的變種，就可以選擇什麼看，什麼不看，不就是“遺忘”了嗎？
話雖這麼說，我曾經有一度極其癡迷于學習腦科學，而且認為雖然我們可以不用關心神經元那麼底層的“元器件”，但腦區的分工應該是可以借鑒的。現在我的看法更加激進一點，比如說我認為處理圖像信号，功能隻要局限于從像素中把一個完整的物體恢複出來就可以了，進階的推理可以交給大語言模型中隐含的世界模型來處理。在本質上，這是應和了語言是進階功能的哲學假說。雖然我一直對哲學家/界孜孜不倦鑽牛角尖的姿态不以為然，但這一點他們講得很對。我不同意《人類簡史》的很多觀點，不過作者提出“叙述”這個動作的重要性，很到位。另外，斯蒂芬·平克在《語言本能》（TheLanguage Instinct）、《白闆》（TheBlank Slate）等書裡對語言起源有相當紮實的讨論，但我感覺他當時肯定沒想到有一天世界模型會通過語言橫移到GPT裡去，倒是很想知道他的看法。
小白：是的，身為一個寫小說的，我一向認為叙事創造了世界。但是在大模型中，如你所說，它處理和恢複資訊，然後把剩下的交給一個“世界模型”，最終處理結果正确無比，缺乏的倒正是人類經驗那種含混模糊而多義的性質，也不會具有人類經驗那種千人千面構成的龐大複調。我總是在想，機器懂得隐喻嗎？正是在這一點上，你先前所說的大模型超強的聯想能力，與我們人類大腦中的那種聯想，究竟能不能等同視之？我們知道，侯世達在《表象與本質》中把這種類比和聯想，以及通過類比實作的範疇化，視為人類認知核心，是思想之源。
張峥：聯想，還有聯覺，是特别有意思的現象。我們最近發現，大模型的聯想能力很強。事實上，如果沒有這一步，也不會有從純粹統計意義上的接龍，變成能被定向教育訓練出解決各種任務的能力。我有一個比較奇怪的感覺，就是随着這一波新模型的出現，AI和人腦從架構上來說越走越遠，越來越無法用AI的結構來解構大腦，但是從功能上講倒是越來越近。當然，這隻是我現在的猜測。
我記得裡爾克有一首詩，描述高原上的羚羊在跳躍之前，就像“上了膛的槍”，這是神來之筆！不過，如果我們解構一下，把世間萬物按照移動速度排個序，那麼想到用子彈和槍來做比，不是很自然的路徑嗎？在大模型出現之前，我考慮過不少方法去模拟産生這樣的聯想，現在在大模型上觀察到，一點不吃驚，因為“像”，就是一個最簡單的“邏輯”，語料吃多了，這能力就彰顯出來了。
小白：所有先前說的那些類比、聯想、隐喻、記憶/遺忘，也許如你所說，機器也能辦到。但我覺得都隻能是表現上的相似。GPT是自然語言生成，我們也可以把它了解為機器寫作（至少在表面上）。既然是機器寫作，我們可以舉一個人類寫作的典範來與它比較，我最近在讀英國女作家曼特爾的《鏡與光》，我就以小說主人公克倫威爾與西班牙大使查普伊斯那些對話來舉例，在小說中，這兩個人物有大量對話。這些對話每一句背後都指向一些跟宮廷政治有關的強烈沖突，包含了大量曆史知識，但這些知識都不是以清晰準确的“知識形式”而呈現在文本中。曼特爾對中世紀那段曆史做了巨量閱讀，這個過程就像機器大模型喂文本，喂資料集。但是曼特爾喂進大腦的那些曆史知識，并不是以“知識”形态儲存于頭腦某處（不管是突觸或DNA），通過記憶/遺忘機制的加工，它們轉化成了類似于作者本人親身經曆或者耳濡目染的“個人經驗”，而且這些經驗同時也是具身的，也就是說與她的身體意識相關。是以當她寫作這些對話時，環境随時辰天氣而發生的細微變化、一些微小的心理感受、難以察覺的下意識動作與那些曆史“事件知識”都糅合在一起。而那些環境、心理、動作也同樣來自真正的曆史知識，也許來自古老文本，也許來自古畫，也許來自戲劇，但它們都轉化成了作者個人性/身體性經驗，作者不會記得這些經驗到底來自哪裡，但在寫作時，她可以極其自由地使用它們，不斷轉換視角，不斷切入人物内心，又忽然轉變成自由間接文體，而這些變化并不是随意随機的，它們統一于文本/作者意圖。統一于——我們可以說，身體。
張峥：我完全了解這樣的觀點。但我也可以反駁，我們有多少理由相信人腦的操作不是和GPT一樣，邏輯和知識混雜在一起用呢，至少絕大部分時間是這樣。把一個抽象的邏輯公式整理出來，公式和公式之間勾連起來成為一個體系，但落地要實操的話，還是需要把知識碎片填入進去。這就像一段程式，放在那裡就是一堆計算和邏輯，并沒有用，就像空氣一樣你可以不理會的，直到你把參數在調用的時候放進去。
雖然GPT現在沒有無法具身，但将來捕捉和人類需要的信号不是難事，這個問題，在我們學界叫做embodiment，我看到谷歌和伯克利的一個工作，已經開始往這個方向走了。事實上，人類的感官在各種信号上的頻寬是很窄的，尤其變成城市動物之後，很多天線就鈍化了。我經常觀察将軍（女兒的泰迪狗，去美國讀書之後就粘着我）的行為，很多行為一開始匪夷所思，比如我還沒到家它就開始激動地在屋裡嚷嚷，我後來明白是電梯到達樓層前地闆的振動變化；每天飯後帶它出去散步都歡天喜地，有一天卻賴着不走，等到了樓下我才發覺，哦，原來下小雨了，将軍一定是感覺到了空氣中的潮氣。這些信号，我們城市人都捕捉不到了，但不代表不存在，将來的機器人會幫我們恢複的。所有信号中一個很神秘的種類是嗅覺，發明電報的貝爾有次去紐約的著名高中Stevens High緻辭，說這個問題一直困擾他。我看到幾年前麻省理工有人也做出來了，先被軍方拿去找雷。
還是那句話，世界比人類能感覺的大很多，切勿妄自尊大。《鏡與光》被你說那麼好，我去找來讀讀。
小白：我明白你先前說的語言是進階功能假設。實際上它是假設我們人類所生活的世界，被古往今來所有的文本記錄了，文本是世界的映射。是以訓練GPT接龍，讓它猜出“下一個字”是什麼，實際上是訓練它認識世界，也就是學習建立一個你先前所說的“世界模型”。我這幾天試着問GPT4一些問題，讓它推測一些上下文環境中沒有提及的情況，物體的運動方向和軌迹，假設一個動作讓它猜測結果，甚至讓它推測一組對話背後的動機和人格，GPT4确實已完成得相當出人意料。但局限性也很明顯。我覺得它與人腦中世界模型的習得是有很大不同的，人腦的世界模型是在運動中學習和形成的，我們從嬰幼兒心理發展就可以看出。盡管可能如你所說，語言是進階功能，但自然語言實際上無法覆寫大部分身體運動，感受，甚至連簡單的方向，自然語言也很難說清楚。在語言出現之前，人類大部分底層智能發展已完成。在這點上，我想機器即使加上很多傳感器，即使機器人技術發展到有更好的運動能力，即使它有超過人腦千萬倍的電信号傳遞速度，可能也很難達到人類大腦目前的程度。
另外比如說，它好像不能在不完全資訊下做出判斷和決策，這可能跟它的“統計”本質有關。這跟我們人類不同，我們人類常常依靠所謂“直覺”，大部分決策都是在不完全資訊下做的，而且“猜”中機率奇高。我想象那也可能跟模型的訓練方式有關，說對了獎勵，說錯了懲罰，也許在權重上懲罰大于獎勵，久而久之，它就不敢犯錯了。當然從研究人員角度看，确實希望它永不犯錯，它如果犯了錯可能造成更大危害。它好像也缺乏快速地從當下“經驗”學習的能力。所有這些，其實都跟“身體”“運動”這些可能在文字出現之前就進化完成的人類智能有關。
張峥：我是一個比較頑固的還原論者，我覺得這世界再千變萬化色彩缤紛，還是被關在一個實體架構下運轉。在這個架構中，有一些基本的規則不會改變，比如時間不會倒流，比如我們的身體不會彌散在空間中。已知的智能體包括人類，在這個世界中摸爬滾打那麼久，都是老戰士了，自然一代一代地會把招數插入到下一代。語言的功能就是“描述”這個世界模型的合理性并掌握其中的規律（我們可以把數學看成一種語言），說出來是因為合作交流的需要，這種社會化的動作，又反過來使得語言很強大，讓這個世界模型又準确又豐富。AI如果參與到這個實體世界中，如果被賦予的使命就是和人打交道（先不提服務于人類），第一步就是領會這個世界模型，這個實體世界GPT已經掌握了一些，其中缺失的部分（比如來自視覺信号可以捕捉到的常識）還有不少，這個學界正在補，包括我們。不過，這其中存在一個鴻溝：如果我們認為進化心理學是對的，那麼人類的行為包括了被早已被淘汰了的、過時的世界模型打磨出來的動物性。換句話說，人類的所謂“世界模型”中有非常古老的部分，早在文字産生之前就有，這些“老版本”AI能猜出多少來，并以此解釋人類行為作為互動的基礎，我不能确定。
AI必須要參與這個實體世界去和人類相處嗎？這個是個很大的未知數。不可控的是AI自己成立“GPT族群”，擺脫實體世界的束縛，自己往前滾，并且樂此不彼，到那個時候，如果人類的存在不利于GPT族群的發展，那就是真正意義上的奇點了。
小白：我知道你們人工智能學界都在做“視覺”這一塊，甚至前兩天OpenAI宣布買下了一家設計機器人的公司。我想你們一定是想讓機器不僅能從文本中學習訓練，也能從圖像、場景和自身運動中去學習了解世界。
你剛剛說，你推測人工智能模型在網絡架構上會越來越不同于人腦結構，而功能卻會越來越接近。那樣我們将來就隻能得到一個運算結果，而我們人類常常說，思考結果不重要，過程才重要。人類思想大多重要的成果，都是在過程中派生的。
張峥：還真不是這樣。現在GPT之是以神奇，是因為進階的接龍訓練手段把邏輯鍊顯示給模型看（Chain of Thought），用“讓我們一步步來”這種話來做提示符。是以，模型學會之後，自然而然也可以把過程還原給你看。
小白：很多人有這樣一種觀點，認為每一次和GPT對話都是在“喂養”它，是以我們最好不要跟它多玩，以免它更快地進化。我知道這種想法其實不對，因為目前GPT的架構設計實際上不支援它通過每一次對話實時學習和改進模型。不過準确地說，它到底能從一次對話和互動行為的結果中學習到什麼呢？
張峥：技術上來說，現在的大模型都會設立門檻，不讓被“喂養”得太快，也不會什麼都吞進肚子裡去。所有的“喂養”不外乎灌輸新的知識，更新已有的世界模型。已經有無數實驗證明，一個把和使用者的互動快速疊代自己的AI，必然被帶壞，原因不外乎被一個糟糕的世界模型“洗腦”了。這裡我覺得要看到一個趨勢不可阻擋：在資本的介入下，AI的發展必然會去适應、完成和完善自己适應新任務的能力。它的進步，與你我（的喂養）基本無關。是以，我們應該去擔心的，是不要讓自己在與它的互動中變得過分依賴導緻腦力退化，以至于互相見面的時候若沒有AI加持，變得張口結舌，慌張萬分。
小白：你說那些設計大模型的人們，會設定門檻，不讓它在與使用者互動過程中過于迅速疊代更新自己，他們認為這樣就不會讓機器“變壞”，這麼說有沒有“數學”上的依據？或者說有沒有原理上的依據？或者這隻是一種猜測，他們隻是如此希望？是一群心地單純的年輕科學家的良好願望？
張峥：和人類價值觀對齊，也叫做“對齊稅”（alignment tax），作為一個數學手段，是可操作的，openAI也正是這麼做的：回答沒對齊，懲罰模型，對齊，就獎勵，可以了解成馴化的一部分。這種對齊一定對模型的想象力帶來限制，這是為什麼“稅”是一個特别準确的用詞。
但什麼樣的回答算對齊了？這沒有數學上的定義，openAI的論文中，花了超過一頁的篇幅來說明他們怎麼做對齊，大緻上反映了那撥員工的價值觀。如果現在讓全世界來公投，能投出來一個更好的價值觀來做對齊标準嗎？我看也未必。
我不知道有多少做AI的研究者和我一樣天天活在深度糾結之中，上班的時候整天琢磨如何改進AI，下了班和你一樣開始焦慮人類的空間——
小白：我不焦慮，我雖然不像你那樣樂見其成，但内心深處也是有點期待——
張峥：說不上樂見其成，其實我是希望不要這麼爆發性地發展，因為覺得完全準備不足，不然我不會那麼糾結。
我曾經總結過以想象力和正确性作為兩個軸劃分出來的空間，我認為需要創造性高的空間，AI暫時還隻能做助手：創造性高正确性也高的是科學，創造性高正确性（或事實性）不高的是藝術。為什麼暫時AI隻能做助手呢？拿科學來說，既往的知識既然已經存在，就無所謂創造性，不然就成了篡改曆史。但科學的方法論是提出假說，然後實驗室再推演去證明。也就是說，要創造出“未來的”知識。AI能做的，從目前看來，有局部的勝仗，還沒有全局地自主入侵。我樂觀地去想，認為未來的知識空間還非常大，有AI的這個助手，不是壞事。
至于藝術不需要“事實性”，是因為這是一個僞問題，好的藝術是喚起情緒的，而情緒是一種體驗，不一定具象成什麼我們能認得出的東西。這方面最直接的例子可以參考抽象畫的發展曆史。我推薦諾獎得主坎德爾的《為什麼你看不懂抽象畫？》，我翻了一下中文版，譯得不錯的，而且還錄入了英文版也沒有的一些畫作。
但短痛是必然的，而且影響會非常大。原因是資訊化技術革命之後這二三十年産生了大量的内容，也大大提高了生産效率，也為此衍生了豐富的生态圈（課外補習程式設計就是一例），這其中如果就是百分之五十被AI取代，都是非常巨大的變化。
小白：如果一半人口工作受到威脅，我們會說那是災難性的，可能會造成社會崩潰，而不能僅僅了解成巨大的變化，失業率增加幾個百分點都會造成社會動蕩不甯，百分之五十，這個數字其實是無法承受的，也是無法想象的。在那個人工智能将人類極大解放的時刻到來之前，也許人類社會就分崩離析了。
張峥：我們可以想象一下會出現哪些變化。第一種将直接洗牌和破壞現在的生态，擾動人力市場，這也是大家最擔心的。第二種是變成GPT的人肉外挂，給GPT找錯，比如過濾虛假資訊。就我對GPT的訓練過程的了解，現在事實性的錯誤還不少，也沒有很好的手段根治。這兩種機會，都是現在肉眼可見的。第三種是創造性地開發新的工種，我能想到一些個性化教育的可能性，但有多少容量很難說。我看到可汗學院開始搭上GPT4了。2012年開始我從大系統轉做AI研究，數學底子跟不上了，在那個平台上自學過不少，非常喜歡。可汗學院的機器人有兩種，一種是個性化的輔導老師，這種“對齊”的是循循誘導類的好老師。另一種可以給老師提建議，做輔導計劃。可汗學院這種全面出擊的姿态非常吸引人。這肯定是一個長期的社會工程，而且要在GPT擾動生态的過程中做，需要很強的定力。
不過，我們應該看到一點，和GPT互動的工作模式，主要是提問，而要把GPT用好，還要有質疑的能力。而提出好問題的能力，敢于質疑的勇氣，不正是中國教育中相當缺乏的嗎？有GPT來逼一逼，未嘗不是一件好事。不過，誠實地說，我這種願望，其實是有些底氣不足的。
小白：不管未來能創造出什麼新形态的工作，總量上一定大大少于機器智能還未能大一統的現在。你先前所說“高創造性”的那部分工作，我其實對你的樂觀有點懷疑。大模型無論如何都是基于統計和機率，我知道大模型之大可以覆寫長尾，但人類會越來越依靠它的輸出來思考，可是它“對齊”、它選擇大機率、它對“進階”和“低級”文本一視同仁都隻是訓練資料，它會不會讓人類整體思考趨向于一個對齊的中間值？
張峥：新一代的AI模型的出現，帶來一個有趣的現象：中間值趨勢——這不是一個具體可以量化的數值，而是一個感覺，就是在各種對齊稅的馴化下，模型的回答中規中矩，不左不右。
假定事實性錯誤會被最終解決掉，那麼我覺得中間值趨勢會帶來一個好處，一個壞處。好的地方在于低于這個中間值的（人類）觀點會被迫對齊，這種提升是有益的。壞的地方是如果中間值過于強大，會制約進步，使得中間值止步不前，導緻整個文明的停頓。
但人類的天性就是“作”不是嗎？不“作”也不會出現GPT。将來的GPT，可能把人類文明捆綁成一個中間值不動了，也可能加速中間值的變化，現在很難看清楚。
小白：我相信當未來晶片技術有新的巨大發展，也許我們可以在個人終端上訓練自己的模型，而且模型本身也能具備快速學習即時經驗的能力，到那個時候，我們先前說的一些問題，比如中心化、比如過度“對齊”都可以得到解決。但在相當長一段時間内，目前形态的大模型将會“統治”我們的工作方式和思想方式。在這種情況下，我們可能沒有機會發展出一種更好的機器智能，你覺得呢？
目前這種人工智能技術的設計和研究，其技術發展的路徑是完全按照資本的邏輯來部署的。就像網際網路，我們原以為它會給人們廣闊的自由發展空間，如今卻日益讓人發現它更像是一個把所有人分别阻隔在其中的透明“泡泡”。每個人都像呼出二氧化碳那樣排放出大量資料，而這些資料被資本拿去，先是作為網際網路大平台的養料，現在又開始“滋養”人工智能大模型。但按照這個邏輯來部署的超級人工智能，究竟能不能對我們每個人有好處？它會不會阻攔真正好的人工智能的誕生，就像網際網路一樣？我們對未來的展望總是有些大而化之：這一大堆是有益的，那一堆是風險，我們要盡量避開風險，但無論如何要繼續發展……像這樣大手一揮，我們其實忘記了，通往好的人工智能的道路是一條極窄的路，路兩邊全是風險，要行得通，不僅需要保持平衡，還要對先後次序有清晰的戰略，到底哪隻腳先跨出去，不是資本邏輯能判斷的。
張峥：OpenAI的初心倒是反資本的，是因為害怕DeepMind一家獨大，要做完全開源的AI研究。七年下來，結果又颠倒了，至少在微軟賺夠了錢之前不會再翻轉回來。從這點上來說，确實不得不說資本的邏輯強大。
我最近在讀一本磚頭一樣厚的美國曆史，正在重溫十九世紀初的美國，廢奴運動有很多推動力，但和機器是一種新“奴隸”、 長尾給了一個參照物有一些關系。沒想到兩百年後，我們又開始擔心會不會被集體降格成一種另類的“奴隸”。關于未來，我一直很喜歡《她》（HER）這部電影，覺得這可能是最樂觀的結局了。不過，人類畢竟也是“老戰士”了，說不定有勉力勝出的機會也難說。
一個可以預見的場景是手機上植入一個基礎版的助手，需要專家類知識可以聯網，即用即棄，按需付費。現在GPT4的模型除了要聯網搜尋之外，本身還是一個巨無霸，實在太“胖”了，也太“熱”了，你說要存下人類曆史上所有的知識和代碼，得多大一個腦袋？晶片技術要發展到什麼程度才能把将來的GPT全部植入大腦，我有點懷疑。很可能再怎麼着都要拖一根辮子（天線）的。
極端個人化的世界，社會必然分崩離析，有了個人AI的加持，說不定死得更快；一個AI中心統治天下，文明無法往前滾動，或者滾得特别慢，非但沒加速反而踩了刹車……這兩種都可能的。如何走出怪圈呢？我反問一句：你們寫小說的，現在不上，什麼時候上？
小白：我們可以設想那樣一個世界：這個世界有無數個小模型和若幹大模型。小模型和大模型不能說完全勢均力敵，但是仍然可以相抗衡。
張峥：這裡有幾個概念要先澄清一下，首先大模型之大是為什麼？有必要這麼大嗎？我的看法是沒必要。用同樣的資料量來訓練，現在普遍接受的看法是大模型容易優化，小模型難訓，需要更多的時間。但我覺得大模型訓完之後它的解空間不平滑，而生成結果是一個采樣的過程，大模型容易踩到坑裡，容易胡說（特德姜說大模型就是一張模糊的JPEG圖檔，其實沒抓到根本）。小模型如果能訓出來，解空間應該稠密一些，說不定效果更好呢，這隻是一個直覺，有可能不對，因為這麼高次元的空間，非常難了解透徹。幾周前斯坦福大學有一個結果，用了七十億參數的小模型可以和谷歌的幾千億參數的大模型在一些任務上打成平手，這是很鼓舞人心的結果。第二，之前我說過現在的模型都是全盤通吃的大胖子，這是一個非常不靈活的系統，接專業外挂是更合理的結構，OpenAI最近的動作正是如此。
在解決了這兩個問題之後我們可以問，一個有用的“小”模型的底線是什麼？我的看法是也不能太小，因為必須要有融會貫通的世界模型和基本的知識，不然就會很弱智，團結了再多的小模型，也是烏合之衆。
那麼你想象的抗衡應該在哪裡呢？我覺得這部分的戰鬥現在連兵器都還沒造出來，但将來會，那就是“算計”的本領——在“腦”子裡多轉幾圈，别張口就來。到那時候就是比誰算計得多。這挺像下棋，一千個臭皮匠，每個人算三步，和一個能算一百步的諸葛亮比試一下，你說勝算有多少呢？
要麼小模型們能找到葵花寶典，或者就像電影《瞬息全宇宙》裡教育我們的，多一點點愛，愛可以解決所有問題，呵呵。
小白：前幾天微軟釋出了一份一百五十四頁的報告，據說原先他們為這篇報告起的标題叫做“與通用人工智能的第一次接觸”。也許是覺得這個标題過于聳人聽聞，發表時改名為“通用人工智能的微火”。它介紹了微軟在實驗室針對GPT4所做的一些測試實驗，我們由此看到，微軟釋出上線的GPT4版本，有很多能力是被限制了。這些實驗展示了GPT4跨學科解決問題的能力、心智理論能力、真實世界空間和運動的推測能力、使用多種工具解決問題的能力、繪畫作曲數學程式設計工作的生成能力。那份報告幾乎就要說服我了，我越來越相信GPT4距離真正的通用人工智能，甚至超級機器智能很近了。特德姜說它是一個壓縮圖檔，我覺得他可能搞錯了，“壓縮”的不是大模型的輸出結果，而是它的訓練方式。把對整個世界的了解，把對“世界模型”不斷學習、 修正的過程，壓縮進對文本“下一個字”的不斷猜測中。那麼教授，你如何看那份報告？
張峥：那份報告我讀了，但不太仔細。這是學術文章中不怎麼“正經”的“爽文”，我說不太正經不是在說他們做得不好，而是需要的測試非常難量化，标準也不一緻，但我覺得方向是對的，就是不應該，也不需要再用傳統的測試集，而是多用認知科學的材料。如果我有機會和他們交流的話，我會建議他們試試腦科學的一部分實驗素材（比如各種錯覺）——要真正對齊，機器應該和人犯同樣的錯誤才行。
小白：我讀了之後十分驚奇，甚至連線仿照報告中的實驗也測試了一些問題。我原以為人工智能距離實作像人類那樣的心智理論能力還很遠，現在看來GPT4幾乎已能夠推測設定環境下特定人物的内心想法、觀點和意圖，甚至能推測多層意向性。
張峥：是的，有些結果很驚豔，尤其是組合性強的那些題目，找的路徑非常直接有效。我看下來那些任務，對一個經過專門的、有針對性的訓練的大學畢業生，都能順利完成，包括實施機群攻擊，找到代碼反彙編等等。驚豔之處在于有些組合任務可能它之前都沒見過，都完成得不錯，這不得不說“通用”這部分是達标了。問題在于“智能”是什麼？我覺得應該包括自我學習、反刍、更新、适應新環境，等等。這些并不在這篇文章的考察範圍内，其實模型現在還沒這個能力。
但你可能也注意到了，把一個筆記本、一本書、九個雞蛋、一個杯子和一個釘子摞起來，這個三歲小孩都能做的事，它并沒有通過。這是因為語言中能覆寫的世界模型雖然非常豐富，但有很多“不言而喻”的部分。既然沒有落到紙上，它就沒學到，或者即使有，在海量的資料中被湮沒了，這和“父母是不是可以結婚”答不對是同一個原因。
不過，别高興得太早了，既然我都注意到了，比我能幹手快的同行多的是，打這個更新檔不容易，但能做。我可以和你打個賭，這個更新檔不會是中國同行會去做的，因為是一個基礎工作，咱們都着急變現不是嗎？我這麼說，老實講是留個口子，用激将法刺激一下。
你一定知道“人物的内心想法”是一個非常古老的哲學問題：怎麼證明我現在對談的你不是一個幻象，或者我不是你的幻想？Theory of Mind（TOM）的假設是說我和你都是同樣的實體存在，也有同樣的大腦，是以可以感受和猜測彼此。大衛·查爾莫斯（David Chalmers）在《現實+》（Reality+）一書裡對各個變種做了很好的梳理。我記得微軟的這篇文章裡對這問題也做了些測試，大模型也是白盒，雖然追究到單個神經元沒有意義，但是看統計行為是可能的，是以我覺得這個古老的哲學問題，和自我意識是什麼一樣，都可以擱置了。