《中國人工智能學會通訊》——7.25 利用自然語言語音繪制人體大腦皮層的語義地圖

此前的神經影像研究已經識别出大腦中的一組極有可能表示語義資訊的區域。這些區域統稱為語義系統（semantic system），相比非詞彙（non-words）、 音 韻 學 任 務（phonological tasks）和 随 機 無 序 的 語 言 語 音（temporally scrambledspeech），語義系統對單詞（words）、語義任務（semantic tasks） 和 自 然 語 言 語 音（naturalspeech）有更顯著的反應。針對語義系統中特定類型表示的研究表明，語義系統對具體或抽象的詞彙、行為動詞、社會性叙事等語義特征具有區域選擇性。其他研究也發現，語義系統對特定的語義子產品（semantic domain），既包括相關概念的一組詞彙，例如單詞 living things、tools、food 和 shelter 屬于同一個語義子產品，也具有區域選擇性。然而，現有的研究僅僅在少量的刺激條件下進行，是以迄今為止并沒有研究能夠全面地闡釋語義資訊在整個語義系統上是如何表示的。

為試圖解決上述問題，我們利用資料驅動的方法，對聽到含有多個語義子產品的有聲記叙故事後大腦的反應進行模組化。利用功能性磁共振成像（fMRI）技術，我們記錄了 7 名被試在收聽 2 個多小時的“飛蛾廣播時間”（The Moth Radio Hour）故事節選的過程中全腦血氧濃度（BOLD，blood-oxygen-level-dependent）的變化。接着我們利用一種對複雜自然腦刺激模組化的高效方法——體積元模組化（voxel-wise modelling），估計在大腦每個體元區域上的語義選擇性（見圖 1a）。