編輯按
此文轉載自 低多邊形厭氧菌 網站 psyxel.com 的“計算創意學系列”。僅做了适合網站的樣式修改，未做内容修改。
原文位址：
https://psyxel.com/evaluation-value-novelty/
前言
歡迎來到計算創意學系列第四章，在前三章的讨論中，我們介紹了三種類型的創造力。
探索性創造力（Exploratory Creativity）是比較常見的創造力：其中某個創作者通過探索某個給定概念空間中無人涉足的區域，得到了一個之前從未被發現過的極具價值的新點子。
而轉型性創造力（Transformational Creativity）則是更加具有革命性的較為罕見的創造力：創作者在由所有可能的問題的定義規則所組成的高階概念空間中進行探索，其結果不僅僅是極具價值的新點子，還有概念空間本身的新定義，引導世人以全新的視角看待問題所在的領域。轉型性創造力的本質是高階概念空間中的探索性創造力。
第三種組合性創造力（Combinatorial Creativity），則是指創作者通過在多個看起來無關的知識領域之間建立聯系，發現了融合這些知識領域的新概念，繼而得到有價值的新點子。
這三種類型的創造力，最初是在瑪格麗特·博登（Margaret Ann Boden）的著作《創造力心智（The Creative Mind: Myths and Mechanisms）》[6] 中被提出。
前兩章我們讨論了概念整合理論（Conceptual Blending），用以解釋組合性創造力（Combinatorial Creativity），将新點子的産生描述為思考主體将多個原本無關的概念網絡中的概念映射到整合概念網絡中的新概念的過程。我們簡單介紹了一些概念整合理論的算法實作，包括 1990 年的 DIVAGO 系統，2012 年的 Metaphor Eyes，以及基于深度神經網絡的 Deep Dream 和 Neural Style Transfer。
現有的創造力理論從人類的創造力行為出發，試圖描述人類創造力現象的機理。是以基于這些理論設計出的算法，也更像是對人類創造力行為的一種模仿。
有沒有一種脫離人類創造力行為的一般意義上的創造力定義？如果我們不想去限制一個算法産生有創意作品的機理，允許它們用任意與人類創造力機理不同的方式表現出創造力行為，該用怎樣的與底層機理無關的标準去評判一個系統是不是具有創造力呢？
盡管對創造力（Creativity）的定義有許多不同的看法，但絕大多數這些對創造力的定義都包含“能夠産生有價值的新事物”這樣的要求。基于這個要求，一個被認為有創造力的系統，至少應該能夠産生有價值的輸出，并且這個輸出應當在一定範圍内具有一定的新穎性（Novelty）。
這一章，我們就從這個簡單的認識出發，聊聊如何評估一個創造力系統的價值和新穎性。
價值（Value）
首先，一個創造力系統産生的輸出，必須得具有一定價值。這不僅僅是對人工創造力系統的要求，也是對任何人工智能系統的要求。
大多數一般意義上的人工智能系統，都是為解決某一個給定的具體問題而設計，其輸出對應于這個問題的解決方案。是以對于這類系統，價值的概念就能直截了當地定義為系統的輸出是不是給定問題的解，或者系統的輸出是品質多高的解。比如一個人臉識别系統輸出的價值被定義為人臉判定的正确性，一個大盤走勢預測系統輸出的價值被定義為預測的準确程度，一個遊戲 AI 的價值被定義為這個 AI 操縱下的敵人對玩家造成的挑戰程度等等。
而對于很多以創造力為目标的人工智能系統，價值的概念就相對模糊，因為這類系統面對的往往不是一個目标明确的問題。一個自動作畫程式要産生“好畫”、一個自動寫詩程式要産生“好詩”、一個自動作曲程式要産生“好曲子”、一個遊戲關卡設計程式要産生“好關卡”——而是什麼定義了一幅畫、一首詩、一首曲子、一個遊戲關卡的“好”，比起是什麼定義了大盤走勢預測的準确度，是複雜而模糊得多的問題。
美國抽象派畫家馬克·羅斯科(Mark Rothko，1903—1970)的畫作《No.5/No.22》，被收藏在現代藝術博物館（MoMA）。你能看出它好在哪裡嗎？
當然，對一個具體問題進行求解的系統，也能夠因為輸出人們意料之外的正确解而被認為是一個創造力系統。之是以大多數以創造力為目标的人工智能系統都不是以求解一個具體的問題為目标，隻是因為在人們通常的觀念中，創造力一詞已經與一些特定的創作領域挂鈎，尤其是藝術領域。另一方面，對具體問題的求解中，問題本身的确定性往往也可能限制住創造力的發揮空間（但并不意味着就完全沒有創造力的發揮空間）。
是以在目标不明确時，如何定義一個系統輸出的價值就成為評估創造力系統的一大挑戰。應對這個難題，現有的研究中我們大體可以看到兩類做法。
其一是承認這類價值判斷的主觀性，放棄設計任何算法性的評估機制，直接讓人類去評估一個系統輸出的價值。評估者不需要對自己的意見給出邏輯嚴密的解釋。比如招募有相關背景知識的志願者來評價算法産生的作品的好壞，統計得到的結果作為人工創造力系統的評價；甚至可以将算法産生的作品像人類的作品那樣投入市場，根據銷售的情況來判斷作品和算法的價值。這樣的評估價值的方法，将算法創作者與人類創作者同等視之，讓時間和群衆做出判斷。它的好處是方法具有極高的通用性，而且方法本身不依賴于人們對某一個創作領域一時的了解。同時，這種評估方法也必然會受到進行統計取樣的人類評估者所處的時代、環境和文化取向的影響，而隻能獲得一定範圍内的有意義的結果。
另一種做法是針對具體的創作領域，試圖在一定程度上去定義價值，或者退而求其次地定義能夠估計價值的另一個名額。
上一章我們介紹了 DIVAGO 系統，它接收兩個知識領域的編碼，能夠自動生成融合這兩個知識領域的新概念，比如輸入分别關于鳥和馬的概念網絡而生成類似“飛馬”這樣的新概念。
在 DIVAGO 系統中，我們就能看到試圖定義價值的做法。DIVAGO 系統要産生的是“好的概念”。什麼樣的概念才是“好的”，聽起來是一個極其抽象而讓人不知如何着手去回答的問題。但 DIVAGO 仍然試圖去回答這個問題，并且還要是以能夠算法化的解釋來回答這個問題。
DIVAGO 的設計者延續概念整合理論的思路，認為一個怎樣的概念才是好的，既取決于思考者目前正在思考的主題，也取決于一些與思考主題無關的概念本身的内在特質。DIVAGO 允許使用者輸入一個邏輯公式來表達對目标概念的需求（比如，使用者想要得到一個既會飛又會遊泳的虛構生物），這樣就能夠以最後輸出的概念對這個邏輯公式的滿足程度來評估這個概念在思考主題相關性上的價值。另一方面，DIVAGO 也引入了 Fauconnier 和 Turner 的一般最優原則（比如要求新概念本身要有内聚性和邏輯一緻性），用可計算的數學公式表達或者近似表達其中的幾條重要的最優原則（關于最優原則的詳細介紹請見上一章）。這樣，輸出概念代入這些公式之後得到的得分，就能夠用來評估這個概念自身的内在特性所帶來的價值。
在具體的創作領域尋找對價值的算法化定義，在自動化遊戲設計系統中也能看到。在 2013 年由 Liapis，Yannakakis 和 Togelius 發表的自動關卡設計系統 Sentient Sketchbook [4]，是一個輔助遊戲設計師設計即時或非即時的戰略遊戲（如星際争霸、文明等）地圖的自動化工具。一張地圖被表示為各種地圖元素（Tile）所組成的二維矩陣。地圖元素包括地形、設施、道路、資源、敵人等。在一個圖形界面上，使用者能夠從空白的地圖開始進行編輯（在地圖上放置各種地圖元素），使用者每進行一次放置操作，Sentient Sketchbook 都會基于使用者迄今為止的所有編輯操作生成一系列的完整的地圖推薦給使用者。
Sentient Sketchbook 的主界面：左邊是地圖編輯區，右邊是系統推薦的完整地圖，中間是地圖在各項名額上的得分
Sentient Sketchbook 對地圖好壞的判斷，基于一系列名額。其中最基本的是可玩性：如果一張地圖中所有的基地和資源都是可以到達的，這張地圖就被認為是可玩的。可玩性是 Sentient Sketchbook 對地圖最基本的要求，除此之外還有一系列其他的對地圖品質的名額。對地圖中的每一個基地，Sentient Sketchbook 定義了以下幾個可量化的分數：
- 資源安全性（Resource Safety）：隻在這個基地附近的資源數量越多，資源安全性得分就越高
- 區域安全性（Area Safety）：隻從這個基地可達的區域面積越大，區域安全性得分就越高
- 探索性（Exploration）：從這個基地出發越難到達另外的基地，探索性得分就越高
基于每個基地的打分，Sentient Sketchbook 進一步定義一張地圖在遊戲平衡性上的得分：
- 資源安全平衡性（Resource Safety Balance）：衡量各個基地的資源安全性是否得分相當
- 區域安全平衡性（Area Safety Balance）：衡量各個基地的區域安全性是否得分相當
- 探索平衡性（Exploration Balance）：衡量各個基地的探索性是否得分相當
這些打分就構成了 Sentient Sketchbook 在設計戰略遊戲地圖這個具體的任務上對價值的定義。Sentient Sketchbook 使用遺傳算法（Genetic Algorithm）來探索所有可能的地圖構成的搜尋空間。
遺傳算法（Genetic Algorithm）是面對龐大搜尋空間時的一種搜尋政策，模仿達爾文進化論所描述的生物進化過程，将搜尋空間中的每一個可能的解都看作是一個生物個體，各自有獨一無二的基因型（Genotype），在其作用下演化出各種各樣的表現型（Phenotype）；遺傳算法進而引入适應函數（Fitness Function）來模拟生物界的優勝劣汰——适應函數是以個體的表現型為自變量的函數，遺傳算法會選擇出那些表現型代入适應函數之後取值較高的解，對這些解進行某種形式的“融合”得到下一代的解（模拟生物交配），再用适應函數去評估這些下一代的解，如此重複一定疊代次數之後，将最新一代的解看作是目前計算資源下能找到的近似最優解。
Sentient Sketchbook 在上面介紹的這些名額基礎之上定義适應函數（Fitness Function），進而“有意識地”優化上面所說的這些名額，并在選擇時保證地圖具有可玩性。
遊戲設計領域的另一個例子是自動桌面遊戲設計系統 Ludi System [9]。Ludi System 同樣基于遺傳算法，能夠完全自動地生成桌面遊戲的規則。由它生成的桌面遊戲 Yavalath，甚至還被商品化挂線上上桌遊商店出售（http://www.nestorgames.com/#yavalath_detail）。
Ludi System 自動生成的桌遊 Yavalath
Ludi System 使用一種叫做遊戲描述語言（Game Description Language; GDL）的形式語言來定義遊戲規則。為了降低問題的複雜程度，系統隻考慮狀态可能性有限、回合制、無随機性、遊戲狀态對所有玩家都完全透明的雙人遊戲。
井字棋（Tic-Tac-Toe）遊戲的 GDL 定義
為了将遺傳算法運用到遊戲規則的生成上，設計者提出了“Ludemes”的概念。“Ludemes”是“Meme（中文譯作模因）”概念在遊戲規則這個領域下的具體化。“Meme”是指能夠在人與人之間傳播的思想單元，類似地，“Ludemes”是指在遺傳算法對遊戲規則進行演化過程中能夠執行分離、修改、組合等操作的遊戲規則單元，比如“棋盤由方形各自組成”、“棋盤大小 3x3”、“一行出現三個同樣的棋子對應玩家就輸了”等等都是“Ludemes”的例子。将這些 Ludemes 進行組合、删改、變異，就能得到各種各樣的遊戲規則。
Ludi System 的系統架構
Ludi System 以一組随機的 Ludemes 組合作為第一代遊戲開始演化。對每一代的遊戲群體，Ludi System 會用一系列衡量遊戲“好玩”程度的量化名額去給這個群體中的每一個個體遊戲打分，選出其中得分最高的幾個遊戲個體，再将組成這些遊戲的 Ludemes 進行交叉重組得到下一代的遊戲。以此反複直到到達了特定的代數，或者得到的最新一代的遊戲在好玩度打分上超過了一定數值。
是以 Ludi System 如何将一個遊戲是否好玩轉化為可數值量化并能自動計算出的名額，就成為這個系統設計的關鍵之一。Ludi System 評價一個遊戲時考慮這個遊戲的方方面面，歸納為共計 57 個名額，其中一些例子如下：
- 遊戲的深度（Depth）：遊戲應該能持續數量不少的回合，而不是傾向于一下子就分出勝負
- 遊戲規則的清晰度（Clarity）：遊戲規則不應該過于複雜
- 遊戲的戲劇性（Drama）：對于處于劣勢的玩家，應該總有翻盤的希望
- 遊戲的決絕性（Decisiveness）：一旦勝負已分，遊戲能夠不拖泥帶水地迅速結束
- 遊戲的可完成性（Completion）：遊戲應該盡可能避免平局的産生
- 遊戲的不确定性（Uncertainty）：遊戲應該盡可能長地維持無法預測勝者的狀态
為了量化并自動計算這些名額，Ludi System 會自動模拟兩個玩家的遊戲過程，并重複大量的次數來獲得上述名額的描述性統計資料，作為一個遊戲個體在上述名額上的得分。
Ludi System 衡量遊戲的戲劇性名額時使用的計算公式
由此我們看到，Ludi System 為了能夠建立一個遊戲規則生成系統的價值評估名額，對回合制雙人桌面遊戲做了相當深入的研究。Ludi System 評價遊戲時所使用的每一個名額，都代表着系統設計者對“回合制雙人桌面遊戲怎樣才好玩”這個問題的一個深刻的看法。如果 Ludi System 能夠真正實用，這将不僅僅是人工智能或者計算創意學上的成就，更是遊戲設計理論上的成就。
我們可以看到，這種試圖為某一個具體的創作領域的價值下定義，甚至尋求算法性的定義的做法，好處首先在于可能實作自動化的評估。而在我個人看來更重要的是，這些價值定義真正推進了人類對某一個創作領域更加深刻的了解，它們本身就是一種學術上的貢獻。
新穎性（Novelty）
在對創造力的基本要求中，還包含對新穎性（Novelty）的要求。是以評估一個創造力系統 ，也需要對這個系統輸出的新穎性進行評估。
新穎性最直接的含義是，一個作品/産品/概念應當跟已經存在的同類作品/産品/概念不一樣。根據進行比較的同類作品/産品/概念的範圍不同，瑪格麗特·安·博登（Margaret Ann Boden）曾将新穎性細化為曆史性新穎性（Historical Novelty; H-Novelty）和心理性新穎性（Psychological Novelty; P-Novelty ）。曆史性新穎性是相對客觀的新穎性，意指一個作品/産品/概念是整個人類曆史上的創舉，在之前的人類曆史上都從未出現過；心理性新穎性則是較為主觀的新穎性，意指一個作品/産品/概念與一定範圍内的其他作品/産品/概念相比非常地不一樣——比如，《十五少年漂流記》并不是曆史上的第一部描寫孤島生存的小說，但對于一個從未讀過其他孤島生存的小說的人來說還是能夠帶來非常新鮮的體驗；用三味線和太鼓演奏的古典日本樂曲并不少見，但當有人用三味線和太鼓演奏流行歌曲《千本櫻》時，還是能給人們帶來新鮮的體驗。
1917 年藝術家杜尚的作品《泉（Fountain）》，将購買來的現成小便池強行放在藝術展覽中來挑戰當時人們的藝術觀念。這類作品的審美意義基本上完全來自于它的新穎性。
關于新穎性評估的另一個問題是如何定義不同性。對于一個作品/産品/概念，如何判定它跟比較範圍内的其他作品是不同的？尤其當不同并不是一個單純的是和否的概念，而是一個程度的問題時，如何可計算地确定這個作品/産品/概念與其他作品/産品/概念不同的程度？
一個直截了當的思路是，我們拿出兩個作品/産品/概念在計算機中的編碼表示，一個單元一個單元地比較，把最後得到的差的總和定義為兩個作品的不同程度。比如兩幅畫作，我們就一個像素一個像素地比較它們存儲在計算機中的位圖檔案；兩首樂曲，我們就去比較它們的聲音波形圖在每一個時間點上的取值；對于兩個抽象的概念比如 DIVAGO 系統的輸出，我們也可以比較每個邏輯原子在兩個概念網絡上的真值差異。對于基于深度神經網絡的應用，由于神經網絡将特征映射到向量空間，我們就去對這些向量作差。
這個方案有很明顯的問題——它的結果太依賴于作品/産品/概念在計算機中是如何編碼表示的了。将兩首樂曲存儲為 wav 格式進行比較，和将它們壓縮後存儲為 mp3 格式進行比較，很可能得到完全不同的結果。更重要的是，由于最後的內插補點資料要在非常具體的上下文中解讀，隻要對編碼做了一點改變，原來得到的結果就完全失去了意義。
而且，作品/産品/概念在計算機中的編碼并不能反映出它背後的構思。我可以完全照抄梵高的《星月夜》，隻是把所有顔色都取反色，就得到一個能被這種算法判定為跟《星月夜》完全不同的畫作。
《星月夜》和它的反色版本
是以，我們需要一個跟編碼方式無關的名額來計算作品/産品/概念相對于某一個範圍的其他作品/産品/概念的新穎性。為此，學者們想到了機率統計中期望值的概念。機率期望的概念刻畫的是一個觀測主體在觀察到大量資料點之後，對新資料點的預測傾向，并且有一個完全可計算的定義——随機事件中每次可能的結果乘以其結果機率的總和。
如果我們将某一類作品/産品/概念的創生看作一個随機變量，那麼這個随機變量的機率期望值，某種程度上就代表了人們對這一類作品/産品/概念的固有印象。這個時候，如果出現了一個新的作品/産品/概念，内容不符合這種固有印象，就可以認為這個新的作品/産品/概念在目前範圍内具有新穎性。按照這種思路，我們将新穎性定義為一個機率分布中某一資料點與該分布的期望值的偏離程度[3]。
為了去實實在在地計算這個新穎性的概念，我們就需要首先确立一種作品/産品/概念的編碼方式，将某一範圍内的作品/産品/概念全部用這種編碼方式來表示，然後建立一個統計模型來表示能夠代表這些作品/産品/概念的編碼的機率分布，繼而在這個機率分布上計算出期望值，最後去比較新作品/産品/概念的編碼與這個期望值的差别，作為這個作品/産品/概念在給定範圍内的新穎性評估。
去建立能夠代表如此大規模的結構複雜的資料點（作品/産品/概念）的機率分布，在過去可能存在技術上的困難，但今天由于深度神經網絡相關技術的不斷成熟，也成為可能的事。
深度學習是機器學習的一個分支，像大多數機器學習方法那樣，用一個數學統計模型去拟合給定的訓練資料中的輸入-輸出關系。深度學習的特點在于使用一種叫作深度神經網絡（Deep Neural Network）的特殊統計模型，是由多層的“神經元”計算子產品組成的複雜數學計算函數，包含了數量龐大的參數用于拟合資料。與傳統的機器學習不同，深度學習不僅要用統計模型去“學習”輸入中的特征和輸出中的特征之間的關系，還要“學習”這些特征本身。也就是說，深度學習的輸入往往是原始對象的資料表示（比如一張圖檔，一段文字），一個深度神經網絡要首先從原始對象中提取出對計算任務有用的特征，才能去完成計算任務。而能夠自動發現特征，避免了手工去設計特征的編碼表示，也正是深度學習優于傳統的機器學習很重要的一點。
深度神經網絡的本質是參數數量龐大的統計模型，表示的正是以複雜資料結構為空間的機率分布。深度神經網絡所擅長的資料表征學習，也正好能夠幫助人們封裝作品/産品/概念的具體編碼，建立與這些具體編碼無關的新穎性名額。
如此，新穎性就成為了一個純統計意義上的概念——這也正确展現了理論意義上的新穎性所具有的主觀性和相對性。
2002 年發表的 SC-EUNE 系統 [7]，是這種算法化了的新穎性概念的一個應用。SC-EUNE 系統是一個在給定地理環境中進行探索的人工智能體（AI Agent）。整個地理環境，包括其中的地理對象（建築等），一開始對 SC-EUNE 都是完全未知的，SC-EUNE 會在環境中到處移動探索來獲得對這個環境的知識。對于每一個地理對象，SC-EUNE 與它之間的實體距離越接近，獲得的關于它的知識就越豐富。在環境中進行探索的 SC-EUNE，會首先遠遠地觀察每個地理對象，計算出目前獲得的資訊的新穎性。如果新穎性得分非常高，SC-EUNE 就會選擇進一步靠近這個地理對象作仔細的觀察。基于這種對新穎性的自動計算，SC-EUNE 模拟了人類在好奇心驅使下的行為表現。
SC-EUNE 系統
能夠自動生成新奇菜單的人工創造力系統 Q-Chef（"Curious Chef"；“好奇的廚子”）是算法化的新穎性概念的另一個應用。Q-Chef 的系統架構組成包括一個在 130,000 個菜單組成的資料集上進行過訓練的統計模型。當使用者給 Q-Chef 提供一個新菜單作為輸入，Q-Chef 能夠通過跟已知菜單的比較發現新菜單與衆不同的地方。并模仿新菜單的與衆不同之處再生成一系列原創菜單。比如說，當使用者輸入一個培根巧克力杯蛋糕的菜單時，Q-Chef 能夠發現巧克力和培根是一個不尋常的組合。然後舉一反三輸出培根可可黑麥面包、培根核桃意大利面、椰子可可番薯料理。
Q-Chef 受到“培根巧克力杯蛋糕”的啟發而生成的三個新菜單
總結
本章我們從對計算創意系統最基本的要求——産生有價值的新事物——出發，讨論計算創意系統内部自我評估和被外部評估的一些方法。在讨論這些方法的過程中，我們看到設計計算創意學系統的嘗試，實際上在推動着人們去更加深入地思考各個創作領域價值和審美的本質，甚至人類對新穎性的認知、以及好奇心的本質。
但是，能夠産生有價值的新事物，遠遠不是一個算法被認可為是一個“具有創造性”的算法的充分條件。
例如，根據無限猴子定理，讓一隻猴子在打字機上随機地按鍵，當按鍵時間達到無窮時，幾乎必然能夠打出任何給定的文字，比如莎士比亞的全套著作。
也就是說，設計一個算法随機地産生一堆符号，總是存在産生的符号組合能夠被解讀為有價值的新作品的可能性。而将這樣的算法稱為具有創造力的，怎麼想都很牽強。
這說明僅僅用能夠産生有價值的新作品作為一個算法有創造力的标準是不夠的。
除了對算法輸出有要求，一個算法要被稱作是“有創造力的”，似乎算法本身還需要具有一些其他的特性。
當一個人在進行創新時，他對自己創作的目的是有意識的。創作者從一開始就有着“要創作出具有價值的新作品”的目的，并且對于要如何達到這個目的有一些想法，而不是胡亂地嘗試意義不明的可能性。他以價值和新穎性為目的，并對于作品如何具有價值和新穎性至少有一些思路，将這些思路運用在創作過程中，有意識地創作出一件作品來，并呼籲人們關注它的價值和新穎性。
最後創作出的作品，至少創作者本人應該能夠欣賞它的價值和新穎性，并在一定程度上能夠為這件作品的價值和新穎性進行辯護。如果連創作者本人都不能欣賞自己的作品，不能了解它的價值和新穎性，我們很難說這樣的創作過程是一個富有創造力的過程。
是以我們引入“意向性（Intentionality）”的概念，将上面描述的這種有意識的創作過程稱作是具有意向性的創作過程，跟盲目的誤打誤撞區分開來。
另一方面，一個在進行創造性活動的人類創作者，不僅僅是有目的地在進行創造，對自己想要得到的價值有清晰的意識，還有很重要的一點是：創造的源動力是來自他自身的。他自身應該有強烈的表達欲望，或對某個内容有強烈的認同感，推動着他進行創造。一個出于自我表達的欲望而自發提筆寫作的作家，比起一個在國文考試中寫命題作文的學生，哪怕兩者産出文章的品質相當，人們也會傾向于認為前者更具創造力。這種自發的創造源動力，我們将之稱為自主性（Autonomy）。
一個怎樣的内容生成算法能夠被稱為是具有意向性和自主性地在進行創作？
這是一個非常非常困難的問題，不僅僅困難在設計這樣的算法可能存在的技術問題，更重要的是，這個問題就像是針對一般人工智能抛出的“AI 怎樣能具有意識”的問題，因為摻雜了“形而上”的内容，難以用一個非私人化的方式進行問題的清晰定義和讨論。
不過，就像人們将人工智能分門别類為強人工智能和弱人工智能，将說不清的哲學問題留在強人工智能的範疇，我們也可以嘗試區分強人工創造力和弱人工創造力，看看剝離掉形而上學内容的意向性和自主性，還可以剩下什麼。
下一章，我們先來考察一個自稱表現出了意向性和自主性的人工創造力系統。
參考文獻
[1] Ventura D. (2019) Autonomous Intentionality in Computationally Creative Systems. In: Veale T., Cardoso F. (eds) Computational Creativity. Computational Synthesis and Creative Systems. Springer, Cham.
[2] Ritchie G. (2019) The Evaluation of Creative Systems. In: Veale T., Cardoso F. (eds) Computational Creativity. Computational Synthesis and Creative Systems. Springer, Cham.
[3] Grace K., Maher M.L. (2019) Expectation-Based Models of Novelty for Evaluating Computational Creativity. In: Veale T., Cardoso F. (eds) Computational Creativity. Computational Synthesis and Creative Systems. Springer, Cham.
[4] Antonios Liapis and Georgios N. Yannakakis and Julian Togelius. (2013) Sentient Sketchbook: Computer-Aided Game Level Authoring. In Proceedings of ACM Conference on Foundations of Digital Games, 2013.
[5] Boden, M. A. (2004). The creative mind: Myths and mechanisms (2nd). London:Routledge.
[6] Macedo, L. and A. Cardoso. (2000). “SC-EUNE - Surprise/Curiosity-based Exploration of UNcertain and UNknown Environments.”
[7] Geraint A. Wiggins. (2020) Creativity, information, and consciousness: The information dynamics of thinking. Physics of Life Reviews. Volumes 34–35, Pages 1-39, ISSN 1571-0645.
[8] Paul R. Cohen. (1995) Empirical Methods for Artificial Intelligence. MIT Press, ISBN 0-262-03225-2
[9] Cameron Browne. (2011) Evolutionary Game Design. ISBN 978-1-4471-2179-4,