天天看點

能計算綜述zz

摘要:本文總結了智能計算各領域發展的概況,提出智能計算(包括神經網絡、進化、遺傳、免疫、生态、人工生命、主體理論等)作為第二代人工智能方法,是連接配接主義、分布式人工智能和自組織系統理論等共同發展的結果,其各領域間有着内在的、本質的聯系,認為智能計算系統存在一般的數學基礎,并存在一般模型,即廣義生态學。最後,提出了智能計算理論和應用發展的若幹展望。

關鍵字:智能計算 神經網絡 進化 遺傳算法 免疫 生态 人工生命 主體理論

1. 從符号主義到連接配接主義

智能是個體有目的的行為、合理的思維,以及有效的适應環境的綜合性能力。人工智能是相對于人的自然智能而言,用人工方法和技術,模仿、延伸和擴充人的智能[1] 。長期以來,人們從人腦思維的不同層次出發,對人工智能進行研究,形成符号主義、連接配接主義和行為主義。

傳統的人工智能是符号主義,它以Newell和Simon提出的實體符号系統假設為基礎。實體符号系統假設認為實體符号系統是智能行為充分和必要的條件。實體符号系統由一組符号實體組成,它們都是實體模式,可在符号結構的實體中作為組分出現。該系統可以進行建立、修改、複制、删除等操作,以生成其他符号結構。

連接配接主義研究非程式的、适應性的資訊處理的本質和能力,其初始代表為神經網絡。神經網絡的一些特點在連接配接主義計算後來的發展中也得到了展現,如:

1、 以分布式方式存儲資訊

2、 以并行方式處理資訊

3、 具有自組織、自學習能力

連接配接主義與行為主義間的差距相對較小,是以可将人工智能分為兩大類,即符号智能和計算智能 (或智能計算)。符号智能是以知識為基礎,通過推理進行問題求解,也即傳統的人工智能。計算智能是以資料為基礎,通過訓練建立聯系,進行問題求解。計算智能以連接配接主義的思想為主,并與模糊數學和疊代函數系統等數學方法相交叉,形成了衆多的發展方向。人工神經網絡(ANN)、遺傳算法、演化計算、人工生命、生态計算、免疫資訊處理、多主體系統等都可以包括在計算智能中。

連接配接主義,或計算智能與分布式人工智能(Distributed Artificial Intelligence, DAI)是密不可分的。人們在研究人類智能行為中發現,大部分人類活動都涉及多個人構成的社會團體,大型複雜問題的求解需要多個專業人員或組織協作完成[1] 。“協作”是人類智能行為的主要表現形式之一,分布式人工智能正是為适應這種需要而興起的。尤其是随着計算機網絡、計算機通信和并發程式設計的發展,分布式人工智能逐漸成為人工智能領域的一個新的研究熱點,作為人工智能的一個分支,DAI主要研究在邏輯上或實體上分散的智能動作者如何協調其行為,即協調協調它們的知識、技能和規劃,求解單目标或多目标問題,為設計和建立大型複雜的智能系統或計算機支援協同工作提供有效途徑。分布式系統的本質決定了它是複雜的、非線性的、通過各子系統間的協同達到更高有序态的系統,是以分布式人工智能的主要研究方法是連接配接主義的而不是符号主義的。

20世紀50年代以後一段時間,符号智能體系取得了巨大的成功,但80年代中期以來,這種經典人工智能的發展由輝煌轉入相對停滞[15] , 而計算智能在神經網絡的帶動下異軍突起。與生命科學、系統科學密切聯系是計算智能的突出特點,正是由于這個特點,不僅計算機科學家,而且衆多其他學科的學者也加入到計算智能的研究中來,極大促進了它的發展。

2. 智能計算的各分支

計算智能是由若幹相對獨立的子領域發展綜合而來的,主要有:

2.1 神經網絡

神經網絡是連接配接主義的經典代表。

能計算綜述zz

神經網絡是由大量神經元廣泛互連而成的複雜網絡系統 [5],誕生于1943年。單一神經元可以有許多輸入、輸出。神經元之間的互相作用通過連接配接的權值展現。神經元輸出是其輸入的函數。常用的函數類型有:線性函數,S型函數和門檻值型函數。雖然單個神經元的結構和功能極其簡單和有限,但大量神經元構成的網絡系統的行為是極其豐富的。單個神經元、Hopfield 網絡模型和前向神經網絡的結構如圖所示。

神經網絡的基本特點是:

  • 大規模并行處理:神經網絡能同時處理與決策有關的信宿,如雖然單個神經元的動作速度不快,但網絡的總體處理速度極快。
  • 容錯性:由于神經網絡包含的資訊是分布存儲的,即使網絡某些單元和連接配接有缺陷,它仍然可以通過聯想得到全部或大部分資訊。
  • 自适應和自組織性:神經網絡系統可以通過學習不斷适應環境,增加知識的容量。
2.2 遺傳算法 [5]
能計算綜述zz

遺傳算法(Genetic Algorithm)是模拟達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型,它是由Holland于1975 年首先提出的。其主要特點是群體搜尋政策和群體之間的資訊交換。與解析法、窮舉法、随機法等傳統搜尋方法相比,遺傳算法具有不需搜尋空間的知識、并行爬峰、編碼方法适應性廣等特點。遺傳算法是所謂“演化計算”的一種。

遺傳算法的基本流程和要素如圖2所示:

根據模式定理(Schemata theorem ),遺傳算法中串的運算實際上是模式的運算,遺傳的進化實際上是模式的進化。低階、短定義距及平均适應度高于群體适應度的模式(積木塊)在子代中将得以指數級增長,積木塊在遺傳算子作用下,互相結合,能生成高階、長距、高平均适應度的模式,可最終生成全局最優解。

遺傳算法具有隐并行性,在對n個串個體進行運算時隐含處理了O(n 3)個模式。實際上,在自然進化過程的任何時刻,總是同時有大量的物種在彼此獨立地向前進化。在同一物種内部,也是同時存在着大量的個體在通過自然選擇、交配和基因突變而進化。顯然,自然界的進化過程本身就是一個并行過程。遺傳算法源于自然進化,自然也就繼承了自然進化過程所固有的并行性。

标準遺傳算法是生物遺傳過程的一個非常簡化的模拟。事實上,由于遺傳,以及更廣泛的進化,與生态的關系是密不可分的,在遺傳算法中引入生态因素是值得努力的。這方面經典的如小生境(niche) 技術 [5][8] 。

2.3 演化計算

演化計算(Evolutionary Computation) ,或稱進化計算,是遺傳算法的超集,其特點是群體搜尋政策和群體中個體之間的資訊交換。目前研究的進化算法主要有遺傳算法、進化規劃(EP, Evolutionary Programming )和進化政策(ES, Evolutionary Strategies) [5]。盡管它們之間很相似,但曆史上這三種算法是彼此獨立發展起來的。

遺傳算法是由美國J.Holland建立,後由K.DeJong,J.Grefenstette, D.Goldberg和L. Davis等人進行了改進; 進化規劃最早由美國的L.J.Gfogel, A.J.Owens 和M.J.Walsh提出; 進化政策是由德國的I.Rechenberg和H.P.Schwefel建立的。三種算法既有許多相似之處,同時也有很大的不同 [5]。①進化規劃和進化政策都把 變異作為主要的搜尋算子,而在标準遺傳算法中,變異隻處于次要地位;② 交叉在标準遺傳算法中起着重要作用,而在進化規劃中被完全省去,在進化政策中與自适應結合在一起使用非常重要;③标準遺傳算法和進化規劃都強調 随機選擇機制的重要性,而從進化政策的角度看,選擇是完全确定的,沒有合理的根據表明随機選擇原則的重要性;④進化規劃和進化政策确定地把某些個體排除在被選擇複制之外,而标準遺傳算法一般對每個個體都指定一個非零選擇機率。

另外,在所謂的“智能進化”中,除了考慮遺傳因素,還考慮到學習,這就是進化的 強化學習 (ERL) [5]。在ERL 中, 評價網絡 的結構和結合強度均由遺傳決定,而 行動網絡 的結合強度則有可能通過學習決定。而且這種學習信号的源泉,也僅限于評價網絡的報酬信号。這是通過遺傳決定的評價網絡的報酬信号對行動網絡結合強度實行最優化的一種強化學習方法。

2.4 免疫資訊處理

人體免疫系統是一個高度進化、複雜的生理機制,免疫系統通過高度複雜的網絡結構來識别和排除抗原性異物,維護體内環境的穩定。免疫過程中所具有的識别能力、學習和免疫記憶功能,以及自适應調節機制等特性具有重要的工程應用價值。1994年以來,免疫資訊處理成為國際上新的研究熱點 [11][12] 。目前這一領域還處于起步階段。

從工程應用的角度,可抽取出免疫反應的概念化模型為:

能計算綜述zz

圖中免疫識别能夠識别自我(Self)和非我(Non-self),對模式識别和計算機病毒防治等都具有重要的的意義。

在免疫調節中,一個比較成功的學說是 Jerne 網絡模型(N.K.Jerne,1974)。這種高度聯結的網絡具有非線性動力系統所具有的穩定平衡點(該點對應于免疫記憶),當抗原侵入時,擾動網絡的平衡,通過内部節點間的作用關系而形成新的平衡點。該網絡學說能較好地解釋免疫記憶,免疫學習及免疫耐受等重要特點。基于該網絡學說的思想和模型已在組合優化問題、自适應控制等方面取得了較好的效果。

免疫系統與腦神經系統在系統行為上具有很多相似,如識别、學習和記憶性能等,但是它們卻有着不同的資訊處理機制。免疫細胞間呈現着一種互相刺激和抑制的對稱的作用關系,這不同與腦時間元之間的作用關系。免疫系統廣泛分布于全身,它們通過在時間和空間上 分布式的網絡結構來實作各種免疫功能,并且這種網絡結構和作用關系是在随着環境的不同而不斷變化的。而經典人工神經網絡是一種固定連接配接的網絡模型。

免疫與遺傳系統之間也是互相差別和聯系的,由于抗原、抗體的特性是通過基因編碼展現的,體内多樣性抗體的産生也是基于免疫細胞分裂時進行的基因交叉和變異而實作的,這種基于遺傳交叉的多樣性操作,以及基于變異和選擇等自适應群體層次的操作,對構成免疫識别和記憶具有重要的作用。但免疫系統與遺傳系統有着本質的差別:遺傳算法是一種單一功能個體的進化,對每個個體而言,隻能适應某個問題或環境,一旦環境變化,進化将前功盡棄。而免疫系統是将環境(非己)和自己互相作用直接考慮的。和GA相比,免疫系統還有如下特征:

l 不是獨立地對每個個體進行評價和選擇,而是以共同作用為前提,考慮共生關系與系統化。

l 自我與非我的識别是一種特殊的模式識别,是以有特殊的多樣性和選擇操作。

l 自适應性展現在包括結構層次在内的各種層次中。

l 更能線上适應變動的環境。

免疫與生态系統具有某些聯系。在博弈生态系統中,在博弈中可産生抗體 [5]。

2.5 主體理論

主體,即 Agent ,是一個實體,它通過感覺器感覺環境,通過效應器作用于環境。主體是智能計算的單元中最複雜的一種;也正是由于這種複雜性,它的行為方式更加多樣,為研究遺傳、免疫、生态等提供了良好的應用平台和觀察背景。

多主體理論( MAS )是分布式人工智能( DAI )研究的一個分支。在多主體理論中,主體是一個自主的實體,它不斷地與環境發生互動作用。同時在該環境中還有其他的程序發生,也存在其他的主體。或者說,主體是一個其狀态由心智部件,如信念、能力、選擇、意圖等組成的實體。在一個系統中,主體可以是同構的,也可以是異構的。多主體的研究涉及到在一組自主的智能主體之間協調其智能行為,協調它們的知識、目标、意圖及規劃以聯合起來采取行動或求解問題。主體之間可能是協作關系,也可能存在着競争。分布式人工智能和 MAS 是一個共同特點就是分布式的實體行為。 MAS 可看作是采用由底向上的設計方法設計的系統。因為在原理上,分散自主的主體首先被定義,然後研究怎樣完成個人或幾個實體的任務求解。 MAS 不僅可以處理單一目标,也可以處理不同的多個目标。多主體系統主要研究在邏輯上或實體上分離的多個主體如何能并發計算、互相協作地實作問題求解。

目前, MAS 系統的研究非常活躍。 MAS 試圖用主體來模拟人的理性行為,主要應用在對現實世界和社會的模拟、機器人和智能機械等領域。主體本身需要具有自治性、對環境的互動性、協作性、可通訊性,以及長壽性、自适應性、實時性等特性。而在現實世界中生存、工作的主體,要面對的是一個不斷變化的環境。在這樣的環境中,主體不僅要保持對緊急情況的及時反映,還要使用一定的政策對中短期的行為做出規劃,進而通過對世界和其它主體的模組化分析來預測未來的狀态,以及通過通訊語言實作和其他主體的協作或協商。主體本身的構造具有極大的靈活性,既可以采用符号主義的方法(如面向推理的符号自動機),也可以采用連接配接主義的方法(如神經網絡)。

2.6 人工生命

人工生命由美國聖塔菲研究所(SFI)的蘭頓(Langton)提出,并于1987-1996年召開了五屆國際人工生命會議。人工生命,是用計算機、精密機械等人工媒體所構造出的能生成自然生物系統特有行為的模拟系統 [5] 。這裡,“特有行為”主要是指

(1)自組織行為,即不是通過全局的整體控制,而是通過大量的非生命分子(也就是行為的各個構成部分)的互相作用而形成的某中有序的行為。

(2)學習行為,即從生物進化過程的自适應現象中所發現的自學系及其傳播行為。

這兩個特有行為又可以概括為“自律生成行為”。所謂自律(autonomy ),含有“自治”、“自我限制”之意,自律系統能夠在複雜的外部環境中,自動地調整系統行為,甚至改變系統的結構。在“調整”和“改變”過程中,學習到新的“知識”,使系統本身得到優化。如果是人工生命系統,則意味着系統得到進化。

人工生命的本質就是在人工系統上實作與生命一樣的行為。這裡的“系統”,由來自自律的個體集團構成,而個體之間的局部互相作用由簡單規則的集合來控制。在這樣的系統中,不存在全局範圍的集團行為規則。人們觀察到的複雜的高維動力學現象及其結構,具有突現(emergent )性質,也就是系統不能産生預先設定性質。因為系統設計者雖然可以設定各個個體行為的“局部規則”,但不能預先設定個體集團全體行為的“全面行為規則”。這種“突現” 性質是由于低維的個體之間局部地互相作用,随着時間的發展而表現出來的。這種性質的産生過程表明,高維結構的“局部層次”,通過要求低維個體的支撐而互相競争、發展起來。這其中的突現結構,即所謂低維個體行為的組織化完成了極重要的任務,這種任務的通過不斷地進化是通過不斷地設定喚起低維個體局部規則而完成的,是以突現結構随時間而進化。

通過上述讨論,我們不難看到人工生命的一些明顯特征:

1、人工生命是由單個個體的集團構成,集團中每個個體都具有簡單過程行為。

2、人工生命系統既不存在全局控制過程,也不存在決定整體行為的規則。

3、個體的每個過程都包含與其它個體的交叉,反映了它對局部狀态的影響。

4、系統能超越各過程範圍産生比較進階的行為,并且有“突現”結構與性質。

2.7 生态計算

生态計算或計算生态學(The Ecology Computation) ,是神經網絡、遺傳算法、演化計算、免疫資訊處理等在更高層次的概括——盡管其發展與上述各分支是互相獨立的。

從曆史的角度,生态計算具有幾個相對獨立的來源。而這些相對獨立的來源卻得到了類似的結論,這無疑從一個側面反映了生态計算作為計算智能的集大成者,其産生在是智能計算發展到一定階段後必然。

  • 開放資訊系統→計算生态學
  • 博弈論→博弈生态系統→生态動力學 [5]
  • 回報與控制理論→生态學模型
  • 非平衡态統計實體學→非平衡相變→反應擴散方程和序參量方程→進化方程

生态系統中的自組織可從幾個方面考察。從博弈論的角度考察,生态系統中的各種政策(如K政策、R政策),根據其适應度,或淘汰,或變異等,緩慢地進化。那些能夠适應環境的政策類型或者互相依存的政策集團自發地形成具有新的秩序的組織(幾個經典的例子參[16])。從協同的角度,計算的過程可以看成是一種相變,是系統處在一種非線性結構下産生新的更有序的空間結構和時間結構的過程。

生态計算的關鍵不是設計一種新的方法直接解決實際問題,它更多是面向智能計算的一般原理,說明智能計算中的某些基本原則的。在這個意義上,也可以把它稱為“廣義生态學”。下面我們還要詳細地讨論這個問題。

3. 各領域的内在聯系

智能計算的各領域之間不是互相獨立的,而是有着深刻的内在聯系

3.1 連接配接主義的思維方式,與傳統的符号主義不同,智能計算的各領域用不同方式實作了連接配接主義的計算,即:研究簡單個體如何在簡單互動規則指導下,構成具有複雜智能行為的高層系統。由此帶來各種算法的統一特點,如社會性、并行性、單元的智能性、開放性等。

3.2 各領域服從統一的模型,即“開放式計算系統”模型。智能計算是多個簡單個體通過生态行為,或者說是社會行為,自組織的形成智能的過程。系統是由異構的、分布的、動态的、大規模的、自主的成分構成的計算系統,一個複雜的計算任務由大量的計算單元非同時的計算行為完成;執行這些任務的單元的全部特性對其他單元甚至系統本身也是未知的;大量的單元的行為決定是基于它們對系統的不完全知識和延遲的甚至是沖突的資訊作出的。

3.3 遺傳算法是進化計算的特例,而進化實際上是一種特殊的生态行為。進化包含遺傳的因素,但進化不能隻從遺傳的角度出發來考察問題,同樣演化計算也不能僅以遺傳變異機制為限(如經典演化計算所做的)。進化是非生物環境和生态系統共同作用的結果,而且環境通常是通過生态系統對物種的進化起作用;物種在進化中互相作用,形成所謂的“協同進化”( coevolution )。是以,如果把以遺傳算法為代表的演化計算作為“微觀演化”或“基因進化計算”,那麼演化計算的進一步研究将導緻“生态進化計算”的産生。

另一點值得注意的事實是進化與非平衡态統計實體學的關系。在耗散結構論和協同學中,利用反應擴散方程和随機微分方程從另一個角度讨論了進化的問題。實際上上述方程在生态學中應用十分普遍(下文還要讨論到),作為生态計算的特例,進化計算中運用這些數學工具是很自然的。

3.4 生态模型具有共性。對生态的了解不能停留在自然生态系統的層次上,在智能計算中,“生态”是描述計算系統中各主體間互相關系的概念,廣義上,神經網絡、進化系統、多主體系統、免疫系統等都是生态系統。由于系統的階層化,生态關系也有不同的層次,如人作為細胞的生态系統,而本身又是社會經濟“生态系統”的一個“細胞”。一個統一的生态理論将能解釋這不同應用領域、不同層次的系統的共性問題,并對智能計算的終極目标——人工生命理論産生直接的積極影響。在這個意義上,不能不說生态的研究在智能計算中是處于一個承上啟下的地位的。

3.5 人工生命在智能計算諸領域中處于核心地位,它是生态計算(包括進化和遺傳)、神經網絡、免疫計算和主體理論等各理論的綜合,又為各理論提供了認識論和方法論的指導。與生态計算相比,它與開放式計算系統關系更加密切,或者說在概念上更加吻合。人工生命的研究原則,往往就是整個計算智能的研究原則。

綜上所述,智能計算作為一個整體,具有明确的研究思路、理論背景、數學手段和應用前景,其各領域和智能計算一般理論均具有極大的理論意義和應用能力。

4. 理論邏輯架構

能計算綜述zz

基于以上的讨論,我們可以看到,智能計算系統與所謂“ 開放式計算系統”實際上是一緻的。開放式計算系統是指由異構的、分布的、動态的、大規模的、自主的成分(Agent,可以了解為智能計算單元,如神經元、遺傳個體、抗原、抗體)構成的計算系統,一個複雜的計算任務由大量的計算單元非同時的計算行為完成;執行這些任務的單元的全部特性對其他單元甚至系統本身也是未知的;大量的單元的行為決定是基于它們對系統的不完全知識和延遲的甚至是沖突的資訊做出的。這一概念是由Hewitt于1991年提出的,這種分布式計算系統的主要特征是:

(1) 并發性:在開放系統中,大量的部件同時處理從不同的外部源頭來的各種資訊。

(2) 非同時性:一、環境不由系統決定,資訊随時進入,這要求随時處理;二、系統處理元件實體上的分散性決定了由時鐘協調成為不可能。

(3) 分散控制:對于一個開放系統,一個獨裁中央決策中心将成為嚴重的瓶頸,因為:一、通信的異步性和不可靠性;二、中心控制的Agent不可能得到完整的目前的系統狀态,這樣局部的決定可能更符合它們的需要。

(4) 沖突的資訊:從外部和系統不同部分來的資訊結果可能是互相沖突的,是以決定必須由開放系統的元件根據可得到的最新的證據作出。

(5) 松散的關系:一個Agent内部操作、組織結構、狀态對另一個Agent可能是不可能得到的;每個元件可以保持簡單,因為它隻要保持自己的狀态和對其他Agent的接口即可。

(6) 操作的連續性:開放系統必需是可靠的,部分元件的損壞和修理不會影響系統的操作。

能計算綜述zz

在這種智能計算的一般模型中(圖4),關鍵問題是研究簡單個體如何在簡單互動規則指導下,構成具有複雜智能行為的高層系統,所謂的“廣義生态學”就是研究該問題的。它指出,智能計算系統共同遵循某些規律如有序、生長、繁殖、加速、互動、階層化、漸進機構化、漸進中心化。智能計算過程中的自組織的一般過程如圖5所示。這些一般規律在智能計算的各領域均得到了展現,限于篇幅這裡不再贅述。

參考文獻

[1] 史忠植.進階人工智能.科學出版社,1998

[2] 石純一等.人工智能原理.清華大學出版社,1993

[3] 蔡自興,徐光祐.人工智能及其應用. 清華大學出版社,1996

[4] 董軍,潘雲鶴.移動Agent系統的智能與行為.計算機科學1999,26(8):53-57

[5] 陳國良,王煦法等.遺傳算法及其應用.人民郵電出版社,1996

[6] 曹先彬,高隽,王煦法.基于生态競争模型的遺傳強化學習 .軟體學報 1999,10(6):658-662

[7] Futuyma. Evolutionary Biology. Sinauer Associates, Inc. 1986

[8] 徐金梧,劉紀文.基于小生境技術的遺傳算法.模式識别與人工智能1999,12(1):104-107

[9] Bart Kosko, Fuzzy Engineering. Prentice Hall, 1997

[10] 張顯俊.免疫遺傳算法及應用.中國科學技術大學碩士論文

[11] S.Forest et al. Self-nonself Discrimination in a Computer. Proceedings of the 1996 IEEE Symp.

On Comp. Security and Privacy,PP202-212,16-18 May 1994

[12] *W.C. Arnold ,D.M. Chess, et al. Automatic Immune system for Computers and Computer Networks

.US Patent 5,440,723,August 1995.

[13] 劉克勝.計算機免疫系統的研究. (中國科學技術大學内部讨論稿) 1999

[14] 潘正君,康立山,陳毓屏. 演化計算. 清華大學出版社&廣西科學技術出版社,1998.

[15] 董聰,郭曉華. 智能計算中的熱點問題. 計算機科學,1999,26(4):5-9

[16] Robert Axelrod. The Evolution Cooperation. Arts & Licensing International, Inc. 1984

繼續閱讀