AlphaGo戰勝人類世界圍棋冠軍、AlphaFold在預測蛋白質結構方面準确性和人類實驗結果接近、語音合成算法WaveNet幫助“漸凍人”重制更自然的聲音，甚至用AI控制核聚變反應……全球範圍内最受關注的人工智能公司DeepMind創立至今超過10年，試圖用人工智能技術解決一切他們認為最緊迫和最基本的科學挑戰。
他們最新瞄準的是那些有着數千年曆史的殘缺銘文。曆史學家們依靠不同的來源重建過往文明的思想、社會和曆史，他們的資料大多基于本文，或寫在卷軸上，或刻在石頭上。銘文就在其中。
“一切都始于與Thea Sommerschield博士讨論曆史學家最具挑戰性的任務時的一次談話，我們立刻看到了人工智能和曆史研究之間的合作潛力。”DeepMind的希臘人工智能研究科學家Yannis Assael博士和Sommerschield在接受澎湃新聞（www.thepaper.cn）記者采訪時如是談起他們這項最新興趣的起點。Sommerschield系意大利威尼斯大學人文系瑪麗·居裡研究員。
Yannis Assael博士（左）和Thea Sommerschield博士。
中原標準時間3月10日淩晨，國際頂級學術期刊《自然》（Nature）線上發表了Assael和Sommerschield作為共同通訊作者的一項新研究，題為“使用深度神經網絡複原和歸因古代文本”（ Restoring and attributing ancient texts using deep neural networks）。研究團隊訓練了一種深度神經網絡，名為伊薩卡（Ithaca）。
伊薩卡是以荷馬史詩《奧德賽》中的希臘島嶼伊薩卡命名，是古希臘神話英雄奧德修斯的故鄉。“我們開發的伊薩卡是第一個可以複原受損銘文的缺失文本、識别銘文原始位置、确定建立日期的深度神經網絡。”
評估顯示，伊薩卡單獨使用于複原受損希臘銘文文本時可達到62%的準确率，在曆史學家使用時可達72%的準确度。而且，伊薩卡還能協助确定銘文的書寫位置和時間。在實驗中，它能以71%的準确度判斷這些銘文的原始位置，鑒定年代與曆史學家提出的範圍相差少于30年。
研究團隊認為，這些發現或可釋放人工智能與曆史學家的合作潛力，并改進我們對人類曆史的了解。“我們确實看到了文化和人文領域人工智能跨學科研究的巨大潛力。”Assael強調。
複原損壞的銘文。這一銘文記錄了一項關于雅典衛城的法令。
深度神經網絡“伊薩卡”
這項研究由DeepMind、威尼斯大學人文系、牛津大學古典學院以及雅典經濟與商業大學資訊學系聯合完成。
Assael在希臘馬其頓大學獲得應用資訊學文憑後，相繼在牛津大學、帝國理工學院學習，最終于2019年在牛津大學獲得機器學習博士。而實際上，其從2007年起就開始成為了自由開發者，彼時尚在念高中。其間還創立了AccuInstruments、LipNet Artificial Intelligence等公司。直至2017年，其加入DeepMind。Assael還曾登上2021福布斯歐洲地區“30歲以下30位精英”榜單。
Sommerschieldze則是研究古希臘和古羅馬文字的曆史學家和銘文學家。其将機器學習應用于研究古地中海的書寫文化，她還研究古代和古典西西裡島的社會和文化曆史。其現為威尼斯大學的瑪麗·居裡研究員，同時借調在DeepMind，她也是哈佛大學希臘研究中心的研究人員。
DeepMind在一份新聞稿中寫道，人類文字的誕生标志着曆史的開端，對我們了解過去的文明和今天生活的世界至關重要。例如，2500多年前，希臘人開始在石頭、陶器和金屬上書寫，記錄從租約、法律到月曆和預言的一切，讓人們對地中海地區有了詳細的了解。
然而，Assael等人意識到一個問題，這些記錄通常都是不完整的。許多幸存下來的銘文在幾個世紀的時間裡遭到了破壞，或者從原來的位置被移走或者販運。此外，現代年代測定技術，如放射性碳年代測定法，無法在這些材料上使用。而傳統的銘文學方法涉及到高度複雜、耗時和專業的工作流程，這使得解讀銘文既困難又費時。
Assael對澎湃新聞記者表示，在将人工智能切入到銘文複原中，他們的工作涉及三項主要的任務，“文本複原、确定原始的地理位置，以及追溯至銘文書寫的時間。”
他們在論文中也指出，受生物神經網絡的啟發，深度神經網絡可以發現和利用大量資料中複雜的統計模式。而近年來計算能力的提高，使這些模型能夠應對包括古代語言研究在内的許多領域中日益複雜的挑戰。
Assael将目标旨在完成上述三項任務的深度神經網絡命名為伊薩卡（Ithaca），該工作始于2019年。“伊薩卡接受了近8萬份由帕卡德人文學院(PHI，一個非營利性基金會)提供的希臘銘文數字資料集的教育訓練，它的架構旨在捕捉上下文并有效地處理受損的單詞，同時它還可以并行地“注意”輸入的不同部分。”他表示。
這些希臘銘文的時間跨度在公元前7世紀至公元5世紀，并橫跨古地中海世界。論文中對這些銘文的選擇做出2點解釋，“首先，希臘銘文記錄的内容和語境的多樣性，對語言處理構成了極大的挑戰；其次，古希臘數字化語料庫的可用性，這是訓練機器學習模型的重要資源。”
Assael提到，伊薩卡是一種基于Transformer的人工神經網絡，它使用注意力機制來衡量輸入的不同部分對模型決策過程的影響。相比于循環神經網（RNN）、卷積神經網絡（CNN）等，Transformer是一種新的神經網絡結構，其僅基于注意力機制，抛棄了傳統的循環或卷積神經網絡結構。
研究團隊提到，自然語言處理模型通常使用單詞進行訓練，因為它們在句子中出現的順序和它們之間的關系提供了額外的上下文和含義。例如，“once upon a time”比單獨看到的每個字元或單詞有更多的含義。然而在這項研究中的挑戰是，這些銘文都已損壞，而且經常丢失文本塊。
“為了確定模型在使用部分字元時仍能正常工作，我們既使用單詞也使用單個字元輸入來訓練它。”他們提到，模型核心的注意力機制并行地評估這兩種輸入，允許伊薩卡根據需要評估銘文。
此外，為了最大化伊薩卡作為研究工具的價值，研究團隊還開發了一些視覺輔助工具，以確定曆史學家能夠輕松地解釋伊薩卡的結果。
伊薩卡處理δη μο το αθηναι ων’ (the people of Athens）的過程。該短語的前三個字元被隐藏，最終提出了修複建議。同時，伊薩卡還預測了銘文的地區和日期。
希臘銘文複原僅有助于了解全球文明圖景的一部分
Assael對澎湃新聞記者表示，伊薩卡的目标是提高我們對古代史的了解，并為曆史學家提供一個友善的工具來幫助他們的研究。
“出于這個原因，為了讓曆史學家能夠解釋伊薩卡，我們創造了大量的可視化圖像來呈現所有的伊薩卡推測。這些可視化技術允許專家們使用他們的背景知識來選擇最合适的輸出，并可能對未探索的曆史見解有所啟發。”他進一步提到。
論文中詳細提到，對于複原任務，伊薩卡并不是提供單一的假設，而是提供了一組根據機率排序的前20個解碼預測。在确定地理任務方面，伊薩卡在84個區域中對輸入文本進行分類，并通過地圖和條形圖可視化地實作可能區域預測的排名清單。
在年代方面，為增加可解釋性，伊薩卡也不是輸出一個單一的時間，而是預測時間的分類分布。更準确地說，伊薩卡将公元前800年至公元800年之間的所有時間處理為，取每10年為一個跨度，也就是說有160個10年。例如，如果日期範圍在公元前300至公元前250年間，也就是5個10年，每一個機率分别為20%；而日期如果在公元前305年，則将以100%的機率指定為出自公元前300至公元前310年。
評估顯示，在複原文本方面，伊薩卡始終優于其他競争方法，字元錯誤率(CER)為26.3%，top 1準确率為61.8%。對複原銘文文本和确定原始的地理位置方面，研究團隊還引用top-k準确率來衡量，即正确的複原或地理位置是否在前k項預測中。
具體來說，與人類曆史學家相比，伊薩卡實作了更低的字元錯誤率(CER)，人類曆史學家該項分數為59.6%。另外，與研究團隊此前開發的專注于文本複原的皮提亞（Pythia）相比，表現也更為優秀。皮提亞名字取自希臘神殿德爾斐中為阿波羅神傳達神谕的女祭司。在文本複原方面，皮提亞皮的字元錯誤率(CER)為47.0%，雖然高于伊薩卡，但也高于人類曆史學家。
值得注意的是，當人類曆史學家與伊薩卡合作時，曆史學家的字元錯誤率（CER）大幅降低到18.3%，top 1準确率則從25.3%大幅提升至71.7%。
在地理定位方面，伊薩卡top 1預測準确率為70.8%，top 3預測準确率為82.1%。對于年代追溯，伊薩卡與曆史學家提出的範圍相差少于30年。
“值得注意的是，在我們的評估過程中，我們看到了多個伊薩卡與曆史學家共識一緻的例子。”Assael舉例談到，他們看到了伊薩卡如何将雅典的一篇提到尼基亞斯（Nikias）将軍的銘文追溯到公元前413年，“這與曆史學家提出的範圍完全吻合。”
他補充到，“在進一步研究中，我們将伊薩卡的關注重點可視化，看看哪些部分的輸入對這一預測貢獻最大。我們看到的是個人姓名(Νικ α ，“Nikias”)和希臘指揮官的軍銜(στρατεγο ，“generals”)。尼基亞斯在雅典遠征西西裡島的過程中扮演了關鍵的角色，而這篇銘文也與這一曆史事件有關。
論文中也提到了另一案例來展示伊薩卡的潛力。研究團隊注意到，目前曆史學家對雅典頒布的一系列重要法令的日期存在分歧，這些法令是在蘇格拉底和伯裡克利等著名人物在世的時期頒布的。長期以來，這些法令被認為是在公元前446/445年之前寫的。然而，也有新的證據表明，更有可能是公元前420年。
他們認為，雖然看起來差别不大，但這些法令對我們了解古代雅典的政治史是至關重要的。值得關注的是，伊薩卡對這些法令的平均預測日期是公元前421年，這與最新的推測日期幾乎一緻。
“雅典帝國主義是希臘曆史上最重要的時刻之一。在任何情形下，伊薩卡對這組銘文的預測都不會超過公元前433年，平均預測日期是公元前421年。”研究團隊認為，曆史學家現在可以使用伊薩卡的可解釋性工具來進一步研究這些預測，并使雅典的曆史更加清晰。
Assael同時強調，模型改進的空間總是存在的。“特别是随着新銘文的發現，将會為這類文本進一步增加數字文本存儲庫。”
值得一提的是，Assael認為，伊薩卡很容易适用于任何古代語言，而盡管古希臘在我們了解地中海世界的過程中發揮了重要作用，但它仍隻是全球文明圖景的一部分。“從拉丁語到瑪雅語，以及任何書寫媒介，從莎草紙到手稿，我們真的很高興看到伊薩卡将用于更多新的方向。”
此外，研究團隊在論文最後還指出，他們建立了一個開源和公開可用的接口(https://ithaca.deepmind.com)，便于曆史學家能夠使用伊薩進行個人研究，同時促進進一步應用的開發。
“我們确實看到了文化和人文領域人工智能跨學科研究的巨大潛力。”Assael表示，目前僅僅是伊薩卡這樣的工具的開始，機器學習和人文學科之間合作的潛力也剛剛展示出來。