我想和大家談的是AI和人類的未來。
我知道這次會議關注的是人類面臨的生态危機，人工智能也是該危機的一部分——無論是好是壞。AI 可以通過多種方式幫助我們克服生态危機，也可以使情況變得更糟。實際上，人工智能很可能會改變生态系統的定義。因為 40 億年來，地球的生态系統隻包含有機生命形式。但現在或是在不久的将來，我們可能會看到 40 億年來第一個無機生命的出現，或者至少是見證無機生命時代的開端。
自 20 世紀中葉計算機時代一開始，人們就對AI 感到恐懼，這種恐懼激發了許多經典科幻小說的靈感，例如《終結者》或《黑客帝國》。雖然此類科幻場景已成為文化符号，但在學術、科學和政治辯論中通常不會受到重視。或許有一個很好的理由，因為科幻小說場景通常假設在人工智能對人類構成重大威脅之前，它必須達到或通過兩個重要的裡程碑。
第一，人工智能必須變得有知覺并發展意識、感覺和情感。不然，它怎麼會想要統治世界？
其次，人工智能必須有能力在實體世界中移動。機器人必須能夠在房屋、城市、山區和森林中移動和操作，至少要像人類一樣靈巧和高效。如果不能在實體世界中移動，機器人又怎能接管整個世界？
截至 2023 年 4 月，人工智能似乎仍遠未達到這兩個裡程碑中的任何一個。盡管 ChatGPT 和其他新的 AI 工具熱度居高不下，但沒有證據表明，這些工具擁有一絲一毫在實體世界中移動的意識、感覺和情緒。盡管自動駕駛汽車被熱議，但這些車輛主宰我們道路的時間一直在推遲。
然而，壞消息是，要威脅人類文明的生存，人工智能并不真正需要意識，也不需要在實體世界中移動的能力。在過去的幾年裡，新的人工智能工具被釋放到公共領域，這可能會從一個非常意想不到的方向威脅到人類文明的生存。我們甚至很難掌握這些新人工智能工具的能力以及它們持續發展的速度。因為人工智能确實能夠自我學習和自我提升，即使是這些工具的開發者也并不完全清楚他們所創造的這一事物的全部功能，他們自己也常常對這些工具的随後産生能力和品質感到驚訝。
我想在座的每個人都已經意識到新人工智能工具的一些最基本的能力，比如編寫文本、繪制圖像、作曲和編寫代碼等能力。但是還有許多額外的功能正在出現，比如深度僞造人類的聲音和形象，比如起草法案，發現計算機代碼以及法律合同和協定中的弱點。但也許最重要的是，新的人工智能工具正在獲得與人類建立深厚且親密關系的能力。這些能力中的每一個都值得進行完整而深入的讨論，我們很難了解它們的全部含義。
是以讓我們簡單點。當我們将所有這些能力整合在一起時，它們可以歸結為一件非常非常重要的事情，即操縱和生成語言的能力，無論是用文字、圖像還是聲音的方式。目前我們身處的人工智能革命程序中，最重要的一個方面是，人工智能正在以超過人類平均能力的水準掌握語言。通過掌握語言，人工智能正在掌握一把萬能鑰匙，鎖上包括銀行和寺廟在内的所有人類機構的大門。因為語言是我們用來向銀行發出指令，以及激發我們心中的天堂願景的工具。
圖檔來源：watermark@anthrupad
另一種思考這件事的方式是，人工智能剛剛破解了人類文明的“作業系統”。曆史上，每一種人類文化的作業系統都是語言——最開始的時候是文字。我們用語言創造神話和神靈，用語言金錢，創造藝術和科學，創造友誼和國家。比方說，人權并不是某種生物學現實，它們沒有刻在我們的 DNA中，人權是我們通過語言以講故事和編寫法律等方式創造出來的東西。神也不是生物或實體現實。神也是我們人類用語言創造出來的，可以是傳說的形式，也可以是經文的形式。金錢不是生物或實體現實，鈔票隻是一文不值的紙片。而目前世界上90%以上的貨币甚至都不是紙币，它們隻是存儲于計算機中的電子資訊，可以從這裡傳遞到那裡。賦予任何貨币價值的，不過是銀行家、财政部長和加密貨币專家等告訴我們的、關于金錢的故事而已，Sam Bankman Fried、Elizabeth Homes 和 Bernie Madoff（美國近年來在金融和科技領域最有名的三個騙子——編譯者）并沒有創造太多真正的價值，但（不幸的是）他們都是具備超高講故事能力的人。
好吧，如果人類生活的世界裡，大多數故事、旋律、圖像、法律、政策和工具都是由非人類的異種智能塑造的，這些智能知道如何利用超人的效率、弱點、人類思想的偏見和成瘾，也知道如何與人類建立深厚甚至親密的關系，這意味着什麼？這是一個很大的問題。在象棋這樣的遊戲中，沒有人能指望打敗計算機。如果同樣的事情發生在藝術、政治、經濟甚至宗教領域呢？
當人們想到ChatGPT和其他新AI 工具時，他們通常會被諸如孩子們使用 ChatGPT 來寫論文這樣的例子所吸引。當孩子們用 ChatGPT 寫論文時，學校系統會發生什麼？太可怕了！但是，提這種問題其實是忽略了大局。不說學校了，讓我們想想 2024 年的美國總統競選，并嘗試想象可以為新邪教大量制作政治宣言、假新聞故事甚至聖經的新人工智能工具将會帶來的影響。
近年來，政治影響力強大的 QAnon邪教（一個美國極右翼陰謀論組織） 就是圍繞着被稱為 Cue Drops 的匿名線上文本形成的。現在，這個邪教在美國和世界其他地方擁有數百萬追随者，他們收集、審查并解讀這些 Cue Drops，就像是某種新的神聖文本一樣。據我們所知，以前所有的Cue Drops都是由人類編寫的，機器人隻是協助在網上傳播這些文本。但在未來，我們可能會看到曆史上第一個由非人類智能編寫文本的邪教和宗教。當然，曆史上的宗教都聲稱他們的聖書由非人類智慧所寫，這在以前從來都不是真的，現在卻可能很快變成現實，并産生深遠的影響。
我們可能很快就會發現，自己正在就堕胎、氣候變化或俄烏戰争進行長時間的線上讨論，我們以為是和人類在讨論，但實際上卻是在和智能機器人。問題是，試圖說服AI機器人改變其政治觀點是完全沒有用的。我們與機器人交談的時間越長，它就越了解我們，越了解如何調整其資訊，以改變我們的政治觀點或經濟觀點。
正如我所說，通過對語言的掌握，AI也可以與人建立親密關系，并利用親密的力量來影響我們的觀點和世界觀。現在，沒有迹象表明人工智能有任何意識和任何感覺。但為了與人類建立虛假的親密關系，人工智能不需要自己的感覺。它隻需要能夠激發我們的感覺，讓我們依附于它。
2022 年 6 月發生了一件著名的事件，當時谷歌工程師Blake Lemoine公開聲稱，他正在研發的AI聊天機器人LaMDA已經具備了自我意識。這個極具争議的聲明讓他失去了工作。
然而，這個事件最有趣的地方并不是Lemoine的聲明，這個聲明大機率是假的，真正有趣的是，他願意為了保護他認為具有意識的AI聊天機器人，甘冒失去自己高薪工作的風險。如果人工智能可以影響人們去冒失去工作的風險，那麼它還能誘導我們做什麼呢？
在每一次争奪人心的政治鬥争中，親密關系都是最有效的武器，人工智能剛剛獲得了與數百萬、甚至數億人大規模産生親密關系的能力。你們可能都知道，在過去的十年裡，社交媒體已經成為一個人類注意力的戰場。現在，随着新一代人工智能的出現，戰場正在從注意力轉向親密關系。這是一個非常糟糕的消息。當 AI 與 AI 作戰時，人類社會和人類心理會發生什麼變化？這種關系可以用來說服我們購買特定産品或投票給特定政治人物。
即使沒有創造虛假的親密關系，AI 工具也将對人類觀點和我們的世界觀産生巨大影響。例如，人們可能開始使用，或者已經開始使用單個 AI 顧問作為一站式智囊團作為他們需要的所有資訊的來源。難怪谷歌會恐慌——如果你關注新聞，谷歌被吓壞了，它有充分的理由恐慌。當你可以要求AI告訴你任何你想要的資訊時，為什麼還要費心去自己尋找呢？你不需要去搜尋。新聞業和廣告業也應該感到恐懼。當AI能告訴我有什麼新聞時，為什麼還要看報紙呢？當AI可以告訴我買什麼時，廣告的目的又是什麼？是以，在很短的時間内，整個廣告行業可能會崩潰，而人工智能，或者說控制新的人工智能的人和公司，将變得非常非常強大。
我們正在談論的，可能是人類曆史的終結——不是曆史的終結，隻是我們稱之為曆史的人類主導部分的終結。曆史是生物與文化的互動，是我們對食物和性等事物的生理需求和欲望，與我們的文化創造，如宗教和法律之間的互動。曆史是宗教和法律與食物和性的互動過程。當人工智能接管文化時，這種互動的曆史程序會發生什麼變化？幾年之内，人工智能就可以吞噬整個人類文化，吞噬人類千百年來所創造的一切，并開始産生出大量新的文化創造，新的文化物品。
請記住，人類從來沒有真正直接接觸過現實。我們總是被文化所包圍，我們總是通過文化棱鏡來體驗現實。我們的政治觀點是由記者的報道和朋友的轶事塑造的。電影和童話故事改變了我們的性偏好。甚至我們走路和呼吸的方式都受到文化傳統的影響。
以前，這個文化繭房是由其他人類編織而成。以前的工具，像印刷機、收音機或電視機，它們有助于傳播人類的文化思想和創造，但它們永遠不能自己創造出新的東西。印刷機不能創造一本新書，書總是由人寫作的。人工智能與印刷機、收音機，乃至曆史上的每一項發明都有着根本的不同，因為它可以創造全新的想法，它可以創造一種全新的文化。最大的問題是，通過由非人類智能産生的棱鏡來體驗現實會是什麼樣子？
在最初的幾年裡，人工智能可能會在很大程度上模仿起初喂養它的人類原型。但随着時間的推移，人工智能文化将大膽地走向人類從未涉足的領域。
幾千年來，我們人類基本上生活在其他人的夢想和幻想中。我們崇拜神靈，我們追求美的理想，我們将生命獻給源于某個詩人、先知或政治家想象中的事業。很快，我們可能會發現自己生活在異種智能的夢想和幻想中，以及潛在的危險中，這些危險與科幻小說、電影和書籍中想象的任何事物或大多數事物從根本上來說都非常不同。
以前，人們大多害怕智能機器帶來的實體威脅，電影《終結者》描繪了機器人在街上奔跑并射殺人的場景。《黑客帝國》假設，要獲得對人類社會的完全控制，人工智能首先需要獲得對我們的大腦進行實體控制，并将我們的大腦直接連接配接到計算機網絡。但這是錯誤的。僅僅通過掌握人類語言，人工智能就擁有了将我們包裹在矩陣幻境中所需的一切。
與一些陰謀論的假設相反，你無需在人們的大腦中植入晶片來控制或操縱他們。幾千年來，先知、詩人和政治家一直在使用語言和講故事來操縱和控制人們并重塑社會。現在人工智能也可能做到這一點。它不需要派殺手機器人來射殺我們，如果需要，它可以讓人類在自己扣動扳機。
從 20 世紀中葉開始，對人工智能的恐懼隻困擾了人類的最近幾代人。如果從《弗蘭肯斯坦》算起，也許是 200 年。但幾千年來，人類一直被一種更深層次的恐懼所困擾。人類一直都認識到故事和圖像、語言在操縱我們的思想并創造幻覺方面的力量。是以，自古以來，人類就害怕被困在幻想的世界中。
在 17 世紀，當笛卡爾擔心惡魔将他困在瘋狂的幻覺中時，他創造了其所見所聞的一切。在古希臘，柏拉圖講述了著名的洞穴寓言，一群人一生都被改變在一個洞穴裡，面對着一塊空白的牆。在那塊牆上，他們看到投射出的各種影子，囚犯們把這些幻覺和影子誤認為是現實。在古印度，佛教徒和印度聖賢指出，所有人都生活在所謂的摩耶幻境中。摩耶就是幻覺的世界。佛陀說，我們通常認為是真實的東西，往往隻是我們心中的虛構。人們可能會因為相信這些虛構而發動戰争，殺死他人，也願意被殺死。是以，人工智能革命讓我們面對惡魔的軌迹，面對柏拉圖的洞穴，面對摩耶幻境。如果我們不小心，一張幻覺的帷幕就會籠罩整個人類，我們永遠無法撕開那張帷幕，甚至無法意識到它的存在，因為我們會認為這就是現實。
如果這聽起來很牽強，那就看看社交媒體吧。在過去的幾年裡，社交媒體讓我們對未來有了一些初步的了解。原始的 AI 工具，不是用來建立内容，而是用來管理由人類生産的内容。人類制作故事和視訊等等，然後人工智能選擇哪些故事、哪些視訊會進入到我們的耳朵和眼睛，選擇那些最能吸引注意力、最可能病毒式傳播的内容。盡管這些人工智能工具非常原始，但它們足以在全球範圍内制造出這種幻覺的帷幕，加劇社會兩極分化，破壞了我們的心理健康，破壞了民主社會的穩定。
數百萬人将這些幻想與現實混淆了。美國擁有整個曆史上最強大的資訊技術，但美國公民卻無法就上一次選舉結果達成一緻，也無法就氣候變化是否真實、疫苗是否可以預防疾病達成一緻。
新的人工智能工具遠比這些社交媒體算法強大得多，它們可能造成更大的破壞。當然，AI 具有巨大的積極潛力，我沒有談論它，因為開發AI 的人自然會談論它。像我這樣的曆史學家和哲學家的工作往往是指出潛在的危險。但可以肯定的是，人工智能可以在無數方面幫助我們，從尋找癌症治療的新方法，到尋找我們所面臨的生态危機的解決方案。
為了確定新的 AI 工具用于善而非惡，我們首先需要了解它們的真正能力，并非常謹慎地監管它們。自 1945 年以來，我們就知道核技術可以生産廉價而豐富的能源使我們受益，也可以實體上摧毀人類文明。是以，我們重塑了整個國際秩序，以保護我們自己，并確定核技術主要用于造福人類。
我們現在必須應對一種可以操縱我們的精神和社會世界的新型大規模殺傷性武器。核武器和 AI 之間的一個重大大差別是：核武器不能制造出更強大的核武器，而人工智能可以産生更強大的人工智能。是以，我們需要在 AI 脫離我們的控制之前迅速采取行動。制藥公司不能在沒有對産品進行嚴格的安全檢查前向人們出售新藥。生物技術實驗室也不能為了給股東留下深刻印象就向公衆釋放新病毒。同樣，政府必須立即禁止在未經安全檢查的情況下，将任何更具革命性的人工智能工具釋出給公衆。
我不是說要停止研究 AI。第一步是停止向公衆釋出。你可以研究病毒，而不向公衆釋放，你可以研究AI，但不要過快地将其釋放到公衆領域。如果我們不放慢 AI 競賽的腳步，我們就沒有時間了解正在發生的事情，更不用說有效監管這項極其強大的技術了。你可能想知道或問，放慢 AI 公開部署的速度是否會導緻民主國家落後？答案絕對是否定的。恰恰相反，不受監管的人工智能部署将導緻民主國家輸掉。因為如果我們釋放混亂，更集中的政權更容易遏制這些混亂。
民主本質上是一種對話。民主是一種開放的對話，相反的是一種指令，即一個人決定一切，沒有對話。民主是許多人關于做什麼的對話。對話依賴于語言。當人工智能破解語言時，它可能會破壞我們進行有意義的公共對話的能力，進而破壞民主。如果我們坐等混亂，再以民主的方式進行監管就太遲了，也許以權力更為集中的方式還有可能，但如果不能公開談論某件事，又怎麼能民主地監管它呢？如果不及時監管人工智能，我們将無法再進行有意義的公開對話。
總而言之，我們遇到了異種智能——不是在外太空，而是在地球上。除了它可以摧毀我們的文明之外，我們對這個異種智能知之甚少。是以，我們應該重視起來，不能不負責任地将這種異種智能部署到我們的社會中，并在人工智能管理我們之前對其進行監管。我們可以提出許多管理措施，但我首先建議的是強制AI披露自己是AI。如果我正在與某人交談，而我無法分辨對方是人還是人工智能，這無疑就是民主的終結，因為這意味着有意義的公開對話已經終結。
現在，你如何看待在上述 20 或 25 分鐘内聽到的内容？我想，你們中的一些人可能會感到震驚，還有一些人可能會對開發這些技術的公司或未能對其進行監管的政府感到憤怒。甚至一些人可能會生我的氣，認為我在誇大威脅，或者在誤導公衆。但不管你怎麼想，我敢打賭說，我的話對你産生了一些情感上的影響——不僅僅是智力上的影響，還有情感上的影響。
我剛剛給你講了一個故事，這個故事很可能會改變你對某些事情的看法，甚至可能會讓你在現實世界中采取某些行動。那麼，是誰創造了這個你剛剛聽到的、改變了你的想法和大腦的故事？我向你保證，盡管圖像是在 AI 的幫助下建立的，演講稿是由我在其他一些人的幫助下完成的。我向你保證，至少你聽到的話語是一個或多個人類思維的文化産物。但是你能完全确定這是事實嗎？
一年前，你可以确定。一年前，除了人類的頭腦，地球上沒有任何東西，至少在公共領域沒有，可以産生如此複雜和強大的文本。但現在，情況不同了。你剛剛聽到的文字可能是由非人類的異種智能生成的。是以，請花點時間，甚至是更多時間，來思考一下吧，謝謝！
（文章來自《人類簡史》、《未來簡史》作者尤瓦爾·赫拉利（Yuval Noah Harari）4月29日在Frontier論壇上的演講，個别措辭有所調整。）