原題：斯圖爾特·羅素對話姚期智：大模型隻是AGI的一塊孤立拼圖，還有拼圖沒找到
I-AIIG 清華大學人工智能國際治理研究院
姚期智
圖靈獎得主，中國科學院院士，清華大學人工智能國際治理研究院學術委員會主席
斯圖爾特·羅素 Stuart Russell
美國加州大學伯克利分校計算機科學教授、人類相容人工智能中心主任，清華大學人工智能國際治理研究院學術委員
美國加州大學伯克利分校計算機科學教授斯圖爾特·羅素在2023北京智源大會上發表主旨演講。
“人工智能就像是一塊來自未來的巨大磁鐵在牽引我們前進，如何確定自己不會被超越人類的智能所控制？”6月10日，美國加州大學伯克利分校計算機科學教授、人類相容人工智能中心 (Center for Human-Compatible AI) 主任斯圖爾特·羅素（Stuart Russell）在2023北京智源大會上發表演講稱，人工智能系統的設計必須遵循兩個原則。首先，AI的行為必須符合人類的最大利益；第二，AI自己不應該知道這些利益是什麼。
在對話環節，羅素與圖靈獎得主、中國科學院院士姚期智共同探讨了人工智能的長期未來及其與人類的關系，羅素引用中國古代哲學家孟子“博愛”的觀點，“未來，當人工智能系統在代表社會做出決策時，應當合理地考慮到每個人的利益。”
羅素與他人合著的《人工智能：一種現代的方法》被譽為人工智能領域最受歡迎的教科書，被135個國家的1500多所大學采用。2022年，國際人工智能聯合會議（IJCAI）授予羅素卓越研究獎，他此前已獲得IJCAI計算機與思想獎，由此成為世界上第二個能夠同時獲得兩項IJCAI主要獎項的科學家。
通用人工智能還很遙遠
在北京大會現場，羅素在題為《AI: Some Thoughts?（一些關于AI的思考）》的演講中對通用人工智能（AGI）做出了定義：通用人工智能是指在大多數經濟有價值的任務上超越人類能力的人工智能系統。這種人工智能系統可以比人類更好更快地學習和執行任何任務，包括人類無法處理的任務，并且由于機器在速度、記憶體、通信和帶寬方面的巨大優勢，未來，通用人工智能在幾乎所有領域都将遠遠超過人類的能力。
那麼，人類距離通用人工智能還有多遠的距離呢？羅素表示，我們離通用人工智能還很遙遠。“事實上，仍然存在許多尚未解決的重大問題。”
羅素在演講中指出，ChatGPT和GPT-4并不了解世界，也沒有在“回答”問題，“如果說通用人工智能是一件完整的拼圖，大語言模型僅僅隻是其中的一塊，但我們并不真正了解如何将它與拼圖的其他部分連接配接起來，以真正實作通用人工智能。”他說，“我相信甚至還有部分缺失的拼圖沒有被找到。”
羅素認為，目前的人工智能系統存在一個根本性的弱點，即它們使用電路來生成輸出。“我們正試圖從電路中獲得高度智能的行為，而電路本身是一種相當有限的計算形式。”他認為，電路無法準确地表達和了解一些基本的概念，這意味着這些系統需要大量的訓練資料來學習一些可以用簡單的程式定義的函數。他認為，未來人工智能的發展方向應該是使用基于明确的知識表征的技術。
“抛開技術問題不談，如果我們确實創造了通用人工智能。接下來會發生什麼？”羅素引用現代計算機科學創始者艾倫·圖靈的話說，“機器思維方法一旦開始，用不了多久就會超越我們微弱的力量，這似乎很可怕。”
“我們如何永遠確定自己不會被人工智能所控制？這是我們面臨的問題——如果找不到這個問題的答案，那麼我認為别無選擇，隻能停止開發通用人工智能。”羅素表示。
今年3月，羅素曾與特斯拉CEO埃隆·馬斯克、“AI教父”傑弗裡·辛頓（Geoffrey Hinton）等上千人簽署公開信，呼籲暫停訓練比GPT-4更強大的AI系統至少六個月。
羅素在會上強調，解決問題的答案是有的。人工智能系統的設計必須遵循兩個原則。首先，AI的行為必須符合人類的最大利益；第二，AI自己不應該知道這些利益是什麼。是以，它們不确定人類的偏好和未來，這種不确定性會給人類控制權。羅素稱，人們需要改變觀念，不要追求“機器必須是智能的”，而要注重機器的“有益性”，使之符合人類的根本利益。“外星人是非常智能的，但我們并不一定希望它們來到地球。”
AI與孟子的博愛思想
在對話環節中，羅素與姚期智進行了一場深刻而富有洞見的讨論。
在被姚期智問及人工智能與人類關系的長期未來時，羅素表示，人類利用AI滿足自身利益，進而導緻AI不可控的現象源于功利主義，“功利主義是人類進步的一個重要步驟，但也導緻了一些問題。”例如，當一個決定會影響到多少人的實際存在時，如何做出決策？人們想要一個不太幸福的大群體還是一個很幸福的小群體？“對于這類問題，我們沒有很好的答案，但我們需要回答這些道德哲學的核心問題，因為人工智能系統将擁有強大的力量，而我們最好確定它們以正确的方式使用這種力量。”
羅素與圖靈獎得主、中國科學院院士姚期智（右）共同探讨了人工智能的長期未來及其與人類的關系。
羅素在回答中引用了中國古代哲學家孟子的觀點，“孟子在中國談到了博愛的概念，意思是在做道德決定時，每個人的利益都應該被考慮在内。而每個人的偏好都應該被平等對待。”他相信有一種基于複雜形式的偏好功利主義（preference utilitarianism）的方法，可以使人工智能系統在代表社會做出決策時，能合理地考慮到每個人的利益。
羅素問，當有一個人和許多機器時，如何確定這些機器互相協作來幫助人類？當許多人有許多機器時，這就涉及到道德哲學的基本問題。他認為，AI系統應該被設計為代表全人類工作。“如果你想讓AI系統順應個人的願望，那麼你必須證明該AI系統的行動範圍被限制在個人關注的範圍内，它不能通過追求個人利益來傷害其他個人，因為它并不關心其他個人。是以，我認為預設情況應該是，人工智能系統是代表人類工作的。”
此外，在讨論中，羅素提到了經濟學術語“位置性商品”，“位置性商品”指的是人們重視的并非物品本身，而是它們隐含了優于其他人的意義。“為什麼諾貝爾獎是有價值的？因為别人都沒有，這證明你比世界上幾乎所有人都聰明。”他說。
“位置性商品的性質是，在某種意義上存在零和遊戲。簡單地說，不是每個人都能進入前1%的行列。是以，如果你從成為1%的人中獲得個人價值、自豪感和自尊心，我們就不能把這種自豪感和自尊心給所有人。”羅素說。
那麼，AI系統在代表社會做決定時，是否應該考慮到位置性商品？“如果我們說不應該，那就會造成社會運作方式的巨大變化。這是一個更加困難的問題。我認為社會中的許多内部摩擦實際上是由這些位置性商品引起的，這些商品根本不可能由每個人實作。”
像社交媒體算法一樣危險
姚期智問道，未來是否有可能制定一個“白名單”，允許人工智能系統被用來做有利于人類福祉的事，例如，使用人工智能方法來設計藥物和解決癌症問題。
羅素表示，納米技術的創始人之一金·埃裡克·德雷克斯勒（K. Eric Drexler）在過去幾年裡一直緻力于人工智能安全，他提出了全面人工智能服務（Comprehensive AI services，CAIS），即建立人工智能系統不是為了通用目标，而是為了解決特定、狹窄的問題，比如蛋白質折疊、交通預測等。比起通用人工智能，這些系統帶來的大規模風險相對較小。
羅素稱，“在短期内這是一個合理的方法”，但是，“我不認為了解人工智能安全的唯一途徑，是在現實世界中部署一個系統的數億個副本，然後觀察結果。”他表示，人類不會對疫苗這麼做，“我們在部署疫苗之前必須先測試它，因為我們将把它注射到數億人身上。”
是以，目前還需要更多的工作來確定人們使用這些系統的安全性。羅素指出，人工智能系統可能會通過對話來改變數億人的觀點和情緒。OpenAI等科技公司應該停止在不告知的情況下向數億人釋出新的人工智能系統，這些系統可能會通過對話來操縱和影響人類的思想和行為，導緻一些災難性的後果，例如核戰争或氣候災難。“如果你能與數億人對話，你就能說服這數億人對其他國家不那麼友好，也能說服人們不那麼關心氣候變化。”
羅素說，“這種情況類似于社交媒體算法，我們甚至沒有意識到它正在改變公共話語、情緒，以及我們如何看待他人和未來，這是非常危險的。”“從系統來看，有一些我們沒有辦法檢測到的内部目标，導緻AI把我們推向這個方向。”
那麼，如何保證人工智能技術的安全性和可控性？
“如果AI這項技術與核武器一樣強大或更強大，我們可能需要以類似的方式管理它。”羅素稱，“在核武器技術發明之前，曾有實體學家認為，我們需要有一個治理結構，以確定技術隻用于人類利益，而不是以武器的形式使用。不幸的是，實體學界和政府都沒有聽取他們的意見。”他強調，AI這項技術與核武器、航空技術一樣強大，各個國家應該努力盡快開展這種AI安全方面的合作。
羅素認為，保證發揮AI的潛在好處需要全面變革，不能僅僅靠監管和确立嚴格的規則及安全标準，還需要整個AI領域的文化轉變。
他給出了建議：首先，要建立人類能夠了解的AI系統。“我們不了解大型語言模型以及它們如何工作。我們需要有這種了解，以便對安全有信心。人類建構AI系統的技術，不應該依賴大量的資料訓練和内部結構未知的黑箱。”
此外，要阻止不安全的人工智能系統被部署，特别是被惡意行為者使用，“需要改變整個數字生态系統，從計算機的運作模式入手，即計算機不會運作它所認為的不安全的軟體。”
羅素在讨論最後總結道，人工智能是一門科學，是以在使用它之前，需要了解它的内部結構和工作原理。“就像我們制造飛機一樣，我們可以根據飛機的實體形狀和發動機等來說明它們是如何保持在空中的。”他表示，“目前，特别是在大型語言模型領域，人工智能還沒有達到這樣的水準。我們不知道它們是如何産生這些特性的。事實上，我們甚至不知道它們具有什麼特性，是以不能将這些現象與它們内部的工作原理聯系起來。”是以，人工智能是一門需要繼續深入探索的科學。