370名大佬當“AI吹哨人”，人類社會會被毀滅嗎？

出品｜虎嗅科技組

作者｜包校千

編輯｜陳伊凡

題圖｜《西部世界》劇照

假以時日，毀滅人類的或許不是槍林彈雨，極有可能是由人類一手締造的進階人工智能。

總部位于舊金山的人工智能安全非營利組織（CAIS），一直在為“如何降低人工智能（AI）的社會規模風險”而努力。5月30日，該機構釋出了一份《AI風險聲明》，呼籲全世界應該像控制大流行病和核戰争那樣，降低AI帶給人類滅頂之災的風險，并且把優先級調到最高。

内容雖然隻有短短一句話，但聯名簽署的是370多名從事AI工作的高管、研究人員和工程師聯名。其中，成員名單包括了OpenAI CEO山姆·奧特曼（Sam Altman）、谷歌DeepMind CEO戴密斯·哈薩比斯（Demis Hassabis）和微軟CTO凱文·斯科特（Kevin Scott）。

這是繼今年3月，馬斯克等上千人曾聯署《暫停AI巨模型實驗》以來，又一份獲得全球科技圈廣泛支援的聲明。就連清華大學智能産業研究院院長張亞勤、中科院自動化研究所人工智能倫理與治理研究中心主任曾毅等行業領袖，也加入到聯署活動中。

在全球AI大模型風頭正勁的當下，這封重磅的公開信足以可見，AI給人類社會帶來的風險，已經到了令人擔憂的時刻。

AI成大國戰略重器

盡管AI諸多有益的應用，為人類社會帶來了福祉，但很多基礎性的安全問題，尚未得到解決。

比如AI産生的大量錯誤資訊和具有說服力的内容，特别是以GPT-4為代表的AI大模型，在文本、圖像和視訊生成方面的優異表現，已經越來越難通過肉眼來辨識真僞。是以，許多專家對AI技術被用于傳播虛假資訊、導緻網絡犯罪的潛在風險表示擔憂。

當AI變得愈發聰明，甚至難以招架時，就離風險和災難的降臨不遠了。

CAIS認為，AI正在通過多種方式醞釀這種大規模的風險。目前，他們已發現AI正在朝武器化、資訊欺詐、謀求權利等歧途上行進。

比如，深度強化學習已被應用于空戰，機器學習則被用于制造化學武器。作為一個接受過網際網路文本和編碼訓練的模型，GPT-4如今已經能在現實世界的實驗室中，自主進行實驗和合成化學品。

眼下，擔心AI會取代甚至摧毀人類的觀點，已不在少數。AI可能會成為21世紀的電子核武器。如此一來，越先擁有AI系統的國家，就越有戰略優勢。

5月22日，OpenAI在官網發文，建議全球主要政府共同成立一個類似國際原子能機構的組織，來監管未來的超級智能（ASI）。按照OpenAI的設想，隻要AI系統超過了一定能力，或所需的計算資源超過一定水準，就需要接受該機構的檢查，以確定符合安全标準。

就像核武器那樣，哪怕被任何一個非理性的人惡意操縱，都會造成大範圍的傷害。不過，與傳統武器不同，這種具有危險能力的AI系統很容易通過數字化的手段擴散。即使所有超級大國都確定自己建構的系統是安全的，并同意不建構破壞性的AI技術，但黑客仍然可以利用漏洞伺機進入AI系統。

被稱為“深度學習之父”的傑弗裡·辛頓(Geoffrey Hinton)在此次聯署中排在首位。談及AI的潛在威脅，他對美國全國公共廣播電台表示：“AI問題的緊迫性可能高于氣候變化危機，它的能力超越其創造者的速度可能比任何人預期得都快。”

5月初，在ChatGPT走紅全球之後，75歲的辛頓從谷歌辭職，便拉響AI的警報，更自由地讨論AI給人類帶來的風險。

當時，他出席美國麻省理工大學（MIT）的一場論壇時表示：“如果AI模型比人類聰明得多，它将善于操縱人類，你都不會意識到發生了什麼。”在最壞情況下，“人類隻是智能進化的一個過場”，在生物智能進化出數字智能後，數字智能将吸收人類創造的一切，并開始直接接觸世界。

他認為，ChatGPT背後的AI技術帶來了諸多風險。比如可以用來制造虛假資訊、操縱民意，或是制造機器士兵屠殺人類。他還擔心，現在的AI大模型可以憑借更少的神經連接配接，了解比普通人類多1000倍的知識，并且能快速與其他模型同步相關知識。

當AI變得比人類更聰明時，就有可能會導緻人類面臨生存威脅。

AI的近慮和遠憂

今年3月，另一家非營利機構“未來生命研究所”(Future of Life Institute)曾呼籲，在至少6個月時間内暫停訓練比GPT-4更強大的AI系統，包括馬斯克在内的千餘名業内大佬，都聯署了《暫停AI巨模型實驗》的聲明。

而在中國，人們似乎仍沉浸在大模型改變各行各業的喜悅和興奮之中。從商界領袖到初創公司，對于AI倫理和風險，絕大多數人地選擇了沉默。

李彥宏在5月26日舉辦的中關村論壇中表示，在AI技術飛速發展過程當中，确實有可能出現“對人類不利的發展方向”，防止失控就需要與擁有先進AI技術的國家通力協作，從人類命運共同體的高度上來制定規則。

“但要參與規則的制定，就要先上牌桌，上了牌桌才能有話語權，才有全球競賽的入場券，”他認為，相比于單純讨論和思考AI威脅論，商業公司首先要縮短和國外AI大模型的差距。

“從目前來看，由于國内大模型能力還沒那麼強，以至于大家根本沒有往威脅人類安全的可能性上去想。”一位創業者承認，AI對人類社會的變革是全方位的，如果利用不好，的确會産生諸多不安全的因素，“但是不能是以就停止大模型的開發。”

對外，國内的AI創業者習慣于扮演技術樂觀主義者，“因為任何風口都有視窗期，現在并不是讓賽道降溫的時候。特别是中國大模型和國外存在着顯著差距，過早的收斂，就意味着提前繳械投降。這是所有人都不願看到的。”一位AI領域的投資人告訴虎嗅。

即便如此，部分創業者的AI世界觀，确實發生了巨大變化。比如出門問問CEO李志飛前不久與虎嗅對話時坦言：“自己曾非常堅定地相信，人類搞不出一個超級牛的AI”。但現在，他的立場不那麼堅定了。“也許5分鐘前你還認為能100%控制，但是就在這5分鐘，AI的智能加速度越來越快，當你意識到有失控風險的時候，已經為時已晚了。”

站在這一立場上，李志飛認為監管越早介入越好。“千萬别等到最後完全失控，再全部叫停。”

作為中國科學院自動化研究所人工智能倫理與治理研究中心主任，曾毅在《AI風險聲明》正式釋出前，就收到了CAIS主任Dan Hendrycks的邀請。出于對在AI風險認知觀點上的接近，他簽署了這份聯合聲明。

在接受南方财經全媒體采訪時，他表示，《AI風險聲明》更深度和直接地表達了簽名者對人工智能給人類帶來潛在生存風險的擔憂和應采取的行動。不過他強調：“公開信的目的不是阻礙AI的發展，而恰恰是在探索AI穩健發展的途徑。”

關于AI對人類造成的生存風險，曾毅指出要從近期和遠期來看：

• 針對遠期而言，當通用人工智能（AGI）和超級智能（ASI）到來時，由于智力水準可能遠超過人類，超級智能視人類如人類視螞蟻，很多人據此認為超級智能将與人類争奪資源，甚至危及到人類的生存。
• 針對近期而言，由于當代人工智能隻是看似智能的資訊處理工具，沒有真正的了解能力，也不是真正的智能，是以會以人類難以預期的方式犯下人類不會犯的錯誤。

“AI既不了解什麼是人類，什麼是生死，也不了解什麼是生存風險，隻會機械地執行某種操作。如果被人惡意利用、誤用和濫用，風險将幾乎難以預期和控制。”曾毅認為，遠期AI的挑戰，如果從現在開始研究如何規避其風險，尚有可能應對。相比之下，近期AI的風險則顯得更為緊迫。

正在改變與想要改變世界的人，都在 虎嗅APP