天天看點

卡爾·弗裡斯頓:基于自由能理論,建構未來的智能生态系統

作者:钛媒體APP
文 | 追問nextquestion

自人工智能概念提出以來,通用人工智能(AGI)就是工程界孜孜以求的目标。人工智能目前的發展如火如荼,出現了各種處理特定任務的專家系統*,大語言模型、深度學習技術似乎為我們帶來通用人工智能的曙光。然而,這些系統仍然隻是執行狹義任務或一組相關的任務,不符合“通用”的标準。實際上,“狹義智能永遠不能堆砌出通用人工智能。通用人工智能的實作不在于單個能力的數量,而在于這些能力的整合”*。

一些哲學家認為,通用人工智能本質上是通用人工生命,因為智能必須建立在生命的基礎之上,應通過模拟思維過程來實作。這引發了一個問題:智能是否必須以生物體為基礎,自然智能又能給我們帶來怎樣的啟發?

卡爾·弗裡斯頓(Karl Friston)等人在《基于第一性原則設計智能的生态系統》(Designing ecosystems of intelligence from first principles)一文中,展望了下一個十年(及以後)人工智能領域的研究和發展願景。文章指出,人工智能要超越對大腦的模仿,取法于自然,探究智能如何在生物體乃至一般實體系統中表現出來。文章勾勒出一種建構超級人工智能的可能路徑:通過主動推理*,以及基于視角采納和共享叙事來建構集體智能。最後,文章還探讨了人工智能的發展階段及相關的倫理問題。

專家系統:專家系統(Expert System)是指具備特定領域的專家水準的知識與經驗,可以根據這些資料利用計算機模型模拟人類專家的思維過程進行推理,解決特定領域的複雜問題的計算機軟體系統。

通用人工智能的實作不在于單個能力的數量,而在于這些能力的整合:見M. Loukides and B. Lorica,“What Is Artificial Intelligence?”O'Reilly, June 20, 2016.

主動推理:主動推理(active inference)是Karl Friston在自由能原理的基礎上做出的延伸,解釋了智能體(無論是生物還是人工的)如何通過行為主動地探索世界,以減少預測誤差。

卡爾·弗裡斯頓:基于自由能理論,建構未來的智能生态系統

▷Friston, Karl J., et al. "Designing ecosystems of intelligence from first principles." Collective Intelligence 3.1 (2024): 26339137231222481.

01 自然中的智能

想要說明人工智能如何可能,不可避免地要說明什麼是“智能”。然而,智能本身沒有明晰的定義。當我們提及智能時,思想、理性、認知、意識、邏輯、情感等概念會躍入腦海。盡管很難給出單一的、判決性的定義,人們卻就智能具有怎樣的一般性特征達成了共識——智能是一個連續體,在不同尺度(個體智能、集體智能)有不同的表現形式和次元(如情感、社交、藝術等)。

盡管具有如上共識,但在過去許多年中,人類智能仍被視為衡量所有智能的金标準。神經科學家傑弗裡·傑斐遜(Geoffrey Jefferson)寫道,如果一台機器是因為“感受到”情感或思想,而非僅僅出于符号的組合,寫出了一首十四行詩,它為寫出這首詩感到快樂,那麼這台機器就可以被認為是具有智能的。與此類似,一些哲學家認為,若要稱得上真正的智能,人工智能需要具有意識或自我意識,而意識的一個本質特征是“像是什麼”的現象特征。是以,人工智能若想真正的具有智能,需要具有主觀體驗。這種想法顯然帶有一種生物中心主義、乃至人類中心主義的色彩。

在人工智能設計中,自然系統及其經過演化精煉的設計始終是模型的靈感來源。其中,神經科學的貢獻尤為顯著。從早期的McCulloch-Pitts神經元模型,到聯結主義和深度學習的并行分布網絡,再到當下機器學習對“神經-人工智能”研究範式的呼聲。然而弗裡斯頓等人指出,人工智能設計不應當将目光僅僅局限在大腦中,應當擁抱各式各樣的自然智能。

弗裡斯頓等人認為,相較于通過描述和類比自然智能的方式設計人工智能,挖掘自然智能的底層原理并嘗試将之與生物系統分離,更有可能通向通用人工智能。但問題在于智能的本質是什麼呢?

02 智能的第一性原理——主動推理

探索智能的底層原理在上世紀40年代的控制論(cybernetics)中已初露端倪,諾伯特·維納(Norbert Wiener)将控制論定義為“關于在動物和機器中控制和通信的研究”。當時控制論的研究中心是生命的自組織現象,其中“回報”與“雙向循環”扮演着重要角色。

阿什比(W. R. Ashby)提出的必要多變性定理(Law of Requisite Variety)與良好調節定理(good regulator theorem)很好地解釋了個體與環境之間的雙向循環:結構上的平行與過程中的互動*。其中,必要多變性定理提出,為了有效應對環境的變化,個體内部的變化可能性應當至少與環境變化的可能性一樣豐富。這樣,個體才能擁有足夠的适應性資源來應對外部的挑戰。而良好調節定理則表明,為了維持系統的穩定狀态,個體需要能夠減小外部環境變化對自身的影響,這通常通過對環境進行有效的模組化和預測來實作。

*“結構上的平行”意味着個體的内部結構(比如說,其認知、生理或者資訊處理系統)與環境中的結構相呼應。這種呼應使得個體能夠高效地處理環境資訊,對環境變化作出快速反應。而“過程中的互動”則強調了個體和環境之間通過行動、感覺、回報等連續的動态互動,實作資訊的雙向流動。

阿什比提出的兩個定理捕捉了個體通過資訊交換以實作自我維持的特質,在自我維持的過程中,智能表現為通過模組化對感覺和行動進行預測。主動推理發展了這一想法,并容納了多尺度智能的可能性。

主動推理是一個将智能了解為适應性行為的實體學公式化方法。它描述了智能體如何通過其生成模型(generative model)積累關于可感覺世界的證據,這一過程被稱為“自我證明”(self-evidencing)。

  • 自我證明——智能自我維持的努力

主動推理表明,智能并不局限于生物體,而是與物體的個體性密切相關。實體個體的個體性依賴于稀疏的因果網絡*,是一個既開放也封閉的系統。稀疏網絡決定了哪些資訊能夠通過,哪些會被阻攔,進而維持了個體的開放性和有界性。

稀疏性:簡單來說,稀疏性與密度(density)并肩而行,如果一組資料是有意義的,就會呈現出在部分區域聚集,部分區域分散的特征。稀疏性與密度共同定義了資料的意義,即表明資料之所是與所不是。

在一個不斷變化的世界中,系統的有界性通過可預測和可控的邊界條件來實作,由此形成一個既與外界互動又能保持相對穩定的生成模型。生物體與環境進行資訊交換是為了自我維持,同樣的,智能體也有自我維持的功能,Jakob Hohwy将此稱作自我證明。這一能力嵌于(embedded in)感覺世界的生成模型中,以收集有利于模型的證據。

自由能與貝葉斯力學是主動推理的兩大支柱。智能體通過最小化自由能來維持其對世界的模型。這個過程中,自由能被了解為複雜性與準确性之間的內插補點。縮小自由能就意味着模型在最小的複雜性下追求最大的準确性。自我證明的過程不僅涉及根據目前感覺輸入和以往信念狀态來推斷環境狀态,還包括通過行動改變感覺輸入,使模型不僅尋找資訊,更是根據偏好尋找資訊,展現出好奇心和創新能力。好奇心,作為解決不确定性的驅動力,是智能系統的基本特征。

智能體所具有的生成模型是其個體性的辨別。這種個體性通過自我監督和自我證明的方式得以維持。智能體以特定模型處理資訊,意味着它們是通過一個特定的視角參與世界的。正如同他者的他異性界定了我的視角,稀疏因果網絡通過對通過阻攔的資訊界定來生成模型的視角。是以,稀疏因果網絡揭示了智能體本質上是關系性的實體,它們通過與自己不同的事物來定義自己。從更大的範圍來看,智能借助稀疏因果網絡,分布在不同尺度的不同智能體中。

  • 智能的動力學——信念更新

智能的動态特性展現在其更新信念的能力上,而貝葉斯機制提供了一種在信念空間中進行精确移動的理論架構。從數學的層面來看,信念更新是在資料顯現(statistical manifold)的抽象空間中完成的,空間中的每一個點對應着一個機率分布。這一抽象空間為人工智能系統實體或生物學層面的資訊傳遞施加限制。它要求可傳遞的資訊必須是關于機率分布的充分統計量或參數。這樣的資訊處理過程不僅包括測量不确定性的能力,還意味着它基于機率分布變量的自信度,即精度或逆方差。是以,按照上述原則設計的人工智能能夠衡量不确定性,并采取行動以減小不确定性*。

不确定性:通常有如下幾個來源,首先是資料測量過程本身所包含的噪聲;其次是資料中隐藏變量的模糊性(這幅圖看起來是鴨子還是兔子?),還有模型運作中的噪音(兔子看起來應該是什麼樣子的?)。戰勝這些不确定性對于學習來說至關重要。

卡爾·弗裡斯頓:基于自由能理論,建構未來的智能生态系統

▷ 信念更新可以表示為抽象空間中的運動,其中每個點對應一個機率分布。圖源:論文。

一個模型之是以具有目的性,與其能夠處理不确定性的能力密切相關。隻有當模型結構中納入了不确定性(即可能性),它才能準确地表征目标并作出準确的預測。實際上,可能性政策是學習的規範性理論。

這與強化學習所追求的理想化政策形成鮮明對比。強化學習開始于一系列随機操作,通過與環境的互動,系統在試錯中進行學習,以最大化其回報,最終實作預設目标。在學習過程中,盡管強化學習系統也會遇到不确定性,但這種不确定性不會顯性地反映在系統的結構或參數上。這導緻了這類智能系統無法“衡量”不确定性,也就無法為了特定的目标(偏好)選擇行動,這與主動推理中的“自我證明”政策大相徑庭。

從理論層面來看,可能性政策是設計智能系統的首選政策,但在實際操作過程中,這種政策可能會引入一些計算上的難題,特别是在必須對模型中的無關變量進行邊緣化(marginalization)處理以獲得對特定變量的準确“信念”的情況下。這與那些以優化(optimization)參數為核心的人工智能系統不同。目前最先進的人工智能系統被設計為具有普遍目标的理想化機器,它們隻能解決特定領域的問題。然而,根據主動推理原則,理想化資料并不是智能的首要任務。

主動推理政策将複雜性與準确性置于同等重要的位置,通過在數量和次元上精簡資料實作最小複雜化,并以最簡約的、粗粒度的方式解釋資料。通過這種方式,可以形成對世界的更簡單、次元更低的表征,使得系統能夠更容易地進行預測和解釋。在這個過程中,允許足夠的複雜性(即不确定性)來解釋資訊熵,就能在客觀上滿足阿什比所提出的必要多變性原理。

此外,由于複雜性會産生熱力消耗(按照蘭道爾定理),最小化複雜性有利于能量的高效利用。毫無疑問,最小化複雜性是從大資料邁向“智能資料”(smart data)的關鍵一步,它為發展通向通用的、更加穩健的人工智能的提供了路徑。

最後,主動推理形式化地描述了自然智能多尺度的特征,并且允許分離的時間尺度,這為設計多尺度人工智能提供了基礎。

03 建構智能生态系統

智能不僅是多尺度的,更顯示出強烈的個體性,即每個智能體都擁有獨特的世界觀和視角。這催生了一個問題:具備不同視角的智能體如何和諧共存?于是,建構一個良性的智能生态系統的概念應運而生。一個良性的生态系統需要參與其中的智能體有可交流的語言,在互動中産生共享叙事,并且具有視角采納的能力。

  • 巴别塔的啟示

語言對于智能的重要性無須贅述。巴别塔的故事以隐喻的方式揭示了語言的重要性。《聖經·創世紀》中寫道:最初,全世界隻有一種語言,人們想建造通向天堂的巴别塔,上帝由此擔心“以後他們所想做的,就沒有不成功的了”。于是“混亂他們的語言,使他們彼此語言不通”。巴别塔的建造由于公共語言的消失毀于一旦,人們隻能分散在各處,使用着隻有局部範圍可以了解的方言。巴别塔的故事是隐喻性的,卻揭示出可交流的語言的重要性。

賽斯利亞·海耶斯(Cecilia M. Heyes)認為,智能與語言幾乎是共同演化而來的,智能與語言互為腳手架,都是在社互動動中發展起來的。從演化的角度來看,語言的功能是促進互相交流和了解,進而推動更大尺度上的合作。從認識論的角度來看,語言的指稱功能使得個體超越自我的藩籬,把握世界的關鍵。

  • 視角采納與共享叙事

語言與一種獨特的資訊更新方式緊密相聯。設想如下兩個情境,一是你和一頭大象被關在一個漆黑的屋子裡,二是你與你的五個朋友以及一頭大象被關在漆黑的屋子裡。在第一種情境中,你借助不斷的摸索來更新你對所處環境的信念,減少對目前情境的不确定性,直至形成一個明确的認識——我與一頭大象待在同一個房間;在後一種情境中,你與同伴溝通,很快就知道房間裡有一頭大象,就像盲人摸象一樣,你們每個人都摸到了一部分并互相彙報分享給彼此。

誠然,在兩個情境中,信念更新的過程是類似的。然而,前者僅是個人積累證據以更新後驗信念;而後者卻是基于有着共同語言和信念的共享生成模型,你們通過比較信念之間的相似性、推斷共處的環境得出結論。這一共享的生成模型,極大地增強了對世界的可預測性,共享成為了互相了解的橋梁,建構了一個共同的信念空間。

共同的信念空間根植于智能體對視角的采納以及叙事的共享之中。視角的采納和叙事的共享構成了社會認知的核心,近來更在生成式人工智能的研究中受到了特别的關注。生成式神經網絡有能力對其所接觸的圖檔、音樂等進行再創造,這是人工智能與自然智能的動态互動。然而,真正擁有智能的生成式人工智能,其應對人類世界充滿了無限的好奇與探索。

  • 信念傳播與溝通協定

目前的人工智能是否能夠基于可溝通的語言共享資訊?答案是否定的。目前人工智能的通用語言是向量(vector),向量空間嵌于資訊輸入空間(文本或情境),通過已有的詞典對文本或情境進行轉化。這類似于不同語言間的翻譯,但向量本身無法直接轉化為更高階的語言形式。

弗裡斯頓等人提出了一個對共享叙事的設想,即類似于上文提到的與朋友一起摸象,通過因子圖上的資訊傳播,實作一個共享的智能生态系統。每一個生成模型都對應一個因子圖。因子圖規定了具體的資訊傳遞和隐性的計算模組化。其節點對應于貝葉斯信念或機率分布的因素。例如,可以将關于對象的潛在狀态的信念分解為“是什麼”和“在哪裡”。這些信念共同指定了外部空間中的一個獨特對象;值得注意的是,知道某物是什麼和知道它在哪裡大體上是獨立的。因子圖的邊對應于支援信念更新的因素之間傳遞的消息。

此外,因子圖在每一個節點上又可劃分為許多小的子圖,即亞因子圖。亞因子圖具有來自内部的資訊,也能通過與其他亞因子圖溝通獲得外部資訊。原則上,這種模組化意味着每一個亞因子圖(或智能體)能夠看到其他可觀察的亞因子圖。

因子圖的設計理念,是以人類溝通中的粗粒度生成模型為藍本,旨在追求複雜性與準确性之間的平衡。它可以通過盡可能簡化的模型複雜度,以實作僅使用與維持對觀察的準确描述所需的粒度。同時,這種粗粒度的生成模型推動智能系統設計向符号化、辨別化、布爾邏輯及溯因推理的方向發展。也由于資料可以還原分子在特定層級的可能性分布,這使得模型能夠靈活地更換文本,互相交換資訊。

神經生物學指出,大腦是一個層級結構,大腦中的高階因素會利用注意力機制篩選低階資訊。全局因子圖要想具有這樣的層級結構,就需要新的資訊傳遞協定。這一協定能夠在離散信念空間圖上執行個體化變分資訊傳遞。這些資訊必須包含足夠的統計向量,并确定相關的共享因素。此外,它們還必須包含關于其來源的資訊,如同大腦中的神經元叢集從大腦的其他部分接收包含着空間位址的資訊輸入。

簡而言之,實作分布式的、湧現的共享智能的第一步是建構下一代模組化和資訊傳遞協定,其中包括不可還原的空間尋址系統,與之适應的向量,以及基于向量的人類知識的共享表征。

04 人工智能的發展階段

文章的最後,弗裡斯頓等人提出基于主動推理的人工智能發展階段:包括從現階段的系統智能到具有偏好和視角的感覺智能,最後到達更進階的共享智能。

  • S0:系統智能

現階段的系統智能的核心特征将感覺輸入與行動輸出進行系統性比對,進而優化系統所定義的價值函數,深度學習和貝葉斯強化學習是典型案例。

S1:感覺智能

感覺智能是下一階段的發展目标。它是指能夠對感覺資訊作出回應,并通過推理行動的原因最大化期待的資訊和價值的擷取。期待和價值意味着模型具有偏好。

  • S2:複雜智能

相較于感覺智能,複雜智能不僅可以預測行動的結構,而且可以預測行動帶來的知識狀态,進一步形成關于世界的表征。這一階段的智能運用模态邏輯、量子計算和範疇理論進行公式化表述,這符合通用人工智能的要求。

  • S3:同情智能

同情智能(Sympathetic Intelligence)可以辨識其他智能體的本質與傾向,也能識别自己的傾向性狀态,這意味着共情智能具有心理理論(Theory of Mind),不僅能夠區分自己與其他智能體,而且能夠辨識自己和其他智能體的意圖,具有視角采納、分享叙事的能力。

  • S4:共享(或超級)智能

共享智能以同情智能之間的互動為基礎,這對應于通常所說的超級人工智能。不同之處在于,超級人工智能的設想以整合的個體為基礎,而共享智能是一種分布式的集體智能,從智能的超空間網絡湧現出來。

卡爾·弗裡斯頓:基于自由能理論,建構未來的智能生态系統

▷圖:主動推理中,人工智能的各個階段。理論:信念更新(即推理和學習)的基礎是由形式微積分(例如貝葉斯力學)支撐的,與遠離平衡的開放系統的自組織實體學有着明确的聯系;原理證明:形式(數學)方案的軟體執行個體,通常采用經典(即馮·諾依曼)架構;大規模部署:在現實世界環境(例如邊緣計算、機器人技術和網絡上的變分消息傳遞)中大規模、高效地應用理論原理(即方法)。

相應資料如下:

1 Friston, K.J. A free energy principle for a particular physics. doi:10.48550/arXiv.1906.10184 (2019). (Friston, 2019).

2 Ramstead, M.J.D. et al. On Bayesian Mechanics: A Physics of and by Beliefs. 10.48550/arXiv.2205.11543 (2023). (Ramstead et al., 2023).

3 Parr, T., Pezzulo, G. & Friston, K.J. Active Inference: The Free Energy Principle in Mind, Brain, and Behavior. (MIT Press, 2022). doi:10.7551/mitpress/12441.001.0001. (Parr et al., 2022).

4 Mazzaglia, P., Verbelen, T., Catal, O. & Dhoedt, B. The Free Energy Principle for Perception and Action: A Deep Learning Perspective. Entropy 24, 301, doi:10.3390/e24020301 (2022). (Mazzaglia et al., 2022).

5 Da Costa, L. et al. Active inference on discrete state-spaces: A synthesis. Journal of Mathematical Psychology 99, 102447, doi:10.1016/j.jmp.2020.102447 (2020). (Da Costa et al., 2020).

6 Friston, K.J., Parr, T. & de Vries, B. The graphical brain: Belief propagation and active inference. Network Neuroscience 1, 381-414, doi:10.1162/NETN_a_00018 (2017). (Friston et al., 2017).

7 Friston, K.J. et al. Generative models, linguistic communication and active inference. Neuroscience and Biobehavioral Reviews 118, 42-64, doi:10.1016/j.neubiorev.2020.07.005 (2020). (Friston et al., 2020).

8 Friston, K.J., Levin, M., Sengupta, B. & Pezzulo, G. Knowing one’s place: a free-energy approach to pattern regulation. Journal of the Royal Society Interface 12, doi:10.1098/rsif.2014.1383 (2015). (Friston et al., 2015).

9 Albarracin, M., Demekas, D., Ramstead, M.J.D. & Heins, C. Epistemic Communities under Active Inference. Entropy 24, doi:10.3390/e24040476 (2022). (Albarracin et al., 2022).

10 Kaufmann, R., Gupta, P., & Taylor, J. An Active Inference Model of Collective Intelligence. Entropy 23 (7), doi:10.3390/e23070830 (2021). (Kaufmann et al., 2021).

11 Heins, C., Klein, B., Demekas, D., Aguilera, M., & Buckley, C. Spin Glass Systems as Collective Active Inference. International Workshop on Active Inference 2022, doi:10.1007/978-3-031-28719 (2022). (Heins et al., 2022).

盡管我們的讨論開始于昆蟲、樹木的分布式集體智能,但昆蟲的智能并非建立智能生态網絡的理想範型,因為這種集體智能是由可替代的點構成的。而智能生态系統需要在同情智能的基礎上實作信念共享,智能的個體性必須被保留下來。這是一個相當符合直覺的想法。在人類社會中,知識是有價值的,而知識與個體的生命密切相關,每個存在者都因為視角的獨特性而享有獨一無二的生命體驗。在智能的領域,每個智能都有與其自我維持相适應的生成模型,這些模型不可互相替代。

05 必要的倫理考量

倫理問題歸根到底是規範性問題,不會随着技術的發展而自動消失。人工智能聯盟相關的倫理問題将在同情智能和共享智能的發展階段變得更加顯著。

設計者應當設法避免病态聯盟,如取消視角多樣性的聯盟,或将捕獵者-獵物模式包含其中的聯盟。此外,集體智能還可能将資料中包含的偏見轉化為系統的偏見。模型的使用本身不會進行自我審查并消除偏見,反而會保留甚至擴大偏見。由于系統中的偏見實際上是社會偏見的延伸,是以,僅靠技術手段無法徹底矯正,還必須輔之以相應的社會政策、政府調節和倫理規範。

06 結語

回望過去對通用人工智能(AGI)與超級人工智能(ASI)的探索,弗裡斯頓等人為我們建構出一個截然不同的視角,通過主動推理原則,搭建自然與人造智能交織的生态系統。

正如主動推理揭示的,智能的本質是一種不斷尋求證據以驗證其對世界的了解的過程。在這一架構下,智能體通過信念傳播或資訊傳遞,在圖或網絡上實作自我證明。主動推理不僅解釋了集體智能,更推動着下一代通用的、超空間模組化和資訊傳遞協定的發展。

未來,在這個基于互相了解和共享的信念空間中,我們面臨的最大挑戰也許不再是技術本身,而是如何了解和定義我們想要創造的世界。

參考文獻:

  • [1] Bourrat, Pierrick ; Takacs, Peter ; Doulcier, Guilhem ; Nitschke, Matthew ; Black, Andrew ; Hammerschmidt, Katrin & Rainey, Paul, Individuality through ecology: Rethinking the evolution of complex life from an externalist perspective.
  • [2] Godfrey-Smith, Peter (2016). Individuality, subjectivity, and minimal cognition. Biology and Philosophy 31 (6):775-796.
  • [3] Slijepcevic, Predrag (2020). natural intelligence and anthropic reasoning. Biosemiotics 13 (tba):1-23.
  • [4] 陸俏穎,詹心怡.主體經驗的認知演化進路初探:從個體性躍遷的視角[J].科學·經濟·社會,2023,41(04):63-73.DOI:10.19946/j.issn.1006-2815.2023.04.006

繼續閱讀