關注：決策智能與機器學習，深耕AI脫水幹貨
作者 | J. Ferbinteanu
編譯 | 劉浚嘉
前言：本文轉載自知乎專欄RL in Robotics，作者劉浚嘉，我覺得這篇文章對于記憶系統的解釋對于AI算法設計很有啟發，神經科學對于大腦機制的研究會持續對AI理論和技術的發展産生深遠的影響，就像已經發生過的CNN、注意力機制等等。
感興趣的還可以去看看作者的知乎專欄，專注于AI和機器人方面：https://zhuanlan.zhihu.com/c_1188392852261134336
PR Structured Ⅲ：Memory systems 2018 – towards a new paradigm
Paper
J. Ferbinteanu
聲明：這是神經科學方面關于記憶結構的綜述，由于本人專業限制，隻是對該綜述進行了翻譯、了解，如若有誤，煩請大佬們指正。
我一個做決策推理的，為什麼要讀這篇神經科學的綜述？
- 因為現有決策方式都是建立在人對自身大腦的仿生學研究之上，決策推理以及因果推理的新思想一定會越來越多地來自神經科學的發現。
- 在經過了 PR Structured 系列前兩篇文章的學習，我逐漸發現無論是結構化機率模組化還是圖神經網絡，其本質是在維護一個顯式的記憶結構。那麼我何不深入了解一下真實的記憶結構呢？
- 近年來 Deepmind 提出了許多神經科學相關的創新，包括多巴胺、海馬體、episodic control 等一系列papers，這得益于其擁有神經科學學位的創始人 Demis Hassabis 的高瞻遠矚。
1 Introduction
記憶系統的研究開始于20世紀，并逐漸形成了古典主義記憶系統的認知，即 multiple memory systems theory (MMS) 。MMS 假設大腦基于許多子產品的獨立且并行運作來存儲資訊，每個子產品具有不同的屬性、動力學和神經基礎。該理論的許多證據來自dissociation 研究，這些研究表明對受限大腦區域的損害會導緻固定類型的記憶缺陷。MMS在記憶研究中已經成為最流行的範例，知乎上大多數的文章介紹的都是MMS的思想，直到我看到這篇paper。
最近，一些實驗結果表明，記憶系統并不總是可分離的，由單個記憶系統形成的表征形式可以促進一種以上類型的 memory-driven 的行為政策。可以通過将動态網絡角度應用于記憶體體系結構來解決此問題。根據這種觀點，記憶網絡可以響應環境需求而重新配置或瞬時耦合。此時，位于特定記憶系統之下的神經網絡可以充當獨立單元或更高階 meta-network 的內建元件。這種動态網絡模型提出了一種方法，可以将質疑不同記憶系統概念的實驗證據納入子產品化記憶系統結構中。該模型還提供了一個架構，以說明行為級别上展示的記憶系統之間的複雜互動。
Motto:
‘For I was afraid of memory; I knew that our memories and reminiscences are like icebergs. We see only the tips in passing, but the mass of land under water slips by unseen and inaccessible. We do not feel their immeasurable weight simply because they lie submerged in time, as in water. But, if we carelessly find ourselves in their way, we shall run aground against our own past and be shipwrecked.’
—— Father Theoctist Nikolsky in Milorad Pavić-Dictionary of the Khazars
2 The Theory of MMS
多重記憶系統理論起源于1953年的一次内側颞葉的雙側切除手術。
1953年9月1日，Connecticut 州 Hartford 醫院的一名年輕神經病患者 Henry Molaison (H.M.)接受了内側颞葉的雙側手術切除，以控制癫痫病，并且醒來（幾乎）治愈了癫痫病，但嚴重的健忘症持續了他一生。盡管他的健忘症很嚴重，但是卻可以學習運動技能。
正如癌症研究中的 海拉細胞 一樣，H.M.因為他的内側颞葉切除術而聞名神經科學。
從現象學上說，不同類型的記憶是由不同的記憶子產品或系統的活動導緻的，每個子產品或系統都有自己的處理方式和屬性。H.M.表現出的記憶力不足的解釋是對内側颞葉的損害，内側颞葉是專用于事實和事件記憶系統的神經基礎，也稱為 declarative memory。
經過不斷地發展完善，神經學家将古典主義的記憶系統理論歸納為 medial temporal lobe (MTL) 模型：
- Declarative memory：學習并記住事實資訊或自身事件，包括 episodic and semantic memory；
- Procedural memories：運動技能的記憶和習慣，其特點是通過重複動作逐漸獲得，在無意識回憶的情況下表達，并且缺乏靈活性。存儲于 neostriatum 新紋狀體；（俗稱肌肉記憶？）
- Affective memory
- Priming memory
- Classical conditioning involving skeletal responses: 瞬膜條件反射
- Non-associative learning: 習慣和敏感性
原論文未使用矢量圖格式，過于模糊
3 Further theoretical developments
3.1 Attribute model of memory
這個模型包含三部分，每種記憶系統均由許多屬性或記憶形式（time, place, response, reward value, sensory perception, to which language is added in humans）：
- event-based memory system: 處理新的和傳入的資訊，這些資訊是以自我為中心，面向個人經曆的事件。（類似MTL的 episodic memory）
- knowledge-based memory system: 包含永久性表征形式，存儲在長期記憶中，是關于世界的一般性知識。（類似MTL的 semantic memory）
- rule-based memory system：通過規則和以後續行動為目标的政策，整合 event-based 的系統和knowledge- based系統中的資訊。
與MTL模型不同，Attribute model 不會根據記憶是 declarative vs. procedural，還是 conscious vs. unconscious 的方式來對記憶進行分類。它還強調了一種想法，即每種記憶都來自廣泛的大腦網絡的綜合活動，大腦網絡包含多個大腦結構。是以，從這個角度來看，記憶系統不具有确定其資訊處理特征樣式的核心結構。
3.2 Knowledge (representational) systems
記憶系統理論必須解決的問題是記憶系統的潛在無限增長。
根據這種觀點，知識既支援行為又構成了記憶的基礎，這是建設性過程的結果。
可以區分五個不同的知識系統：
- what happened
- where and when
- who was involved
- how to act (procedural knowledge)
- whether it was positive or negative (affective valence).
與古典記憶系統理論一樣，Knowledge systems 具有獨特的神經生物學基礎，但是它們超越了長期記憶和短期記憶的劃分，并且沒有将感覺與記憶分開。實驗證明了這個觀點，短期和長期記憶的差別并沒有最初想象的那麼明顯。
頂葉後皮層通常與感覺和注意力相關，在情節性記憶中也有作用，而傳統上被認為具有執行功能的前額葉皮層代表感覺資訊（Sestieri，Shulman and Corbetta，2017；Ester，Sprague and Serences，2015）。内側颞葉皮層的皮層上皮可能同時具有知覺和記憶功能（Baxter，2009；Suzuki，2009）。Knowledge systems 模型反映了記憶領域中對大腦中資訊處理的組織方式的認識不斷變化。随之而來的是強調大的、整體的大腦網絡而不是單個大腦區域在記憶中的作用，解釋了失憶症患者為何保留遠端記憶的原因，并合理地解釋了記憶為何以及如何随時間變化（Nadel＆Moscovitch，1997；Moscovitch ＆Nadel，1998; Moscovitch et al.，2016）。
3.3 Processing modes model
該模型提出了基于處理模式定義記憶系統的建議，以消除将記憶劃分為顯式和隐式類别的問題。顯式/隐式或聲明性/程式上的差別是基于人類的研究，是指口頭陳述記憶内容的能力。這種分類實際上并未包含在Schacter和Tulving的記憶系統定義中（Schacter＆Tulving，1994），實驗最終對它提出了挑戰。正如 dual-process 模型所提出的，在執行特定任務時，意識和潛意識的處理可以混合在一起，而相同的核心記憶結構可以同時支援顯式和隐式記憶。
該模型根據三種不同的處理類型提出了三種不同的記憶系統：
- rapid encoding of flexible associations：以episodic memory為例， 是基于海馬和新皮層的；
- slow encoding of rigid associations：包括 procedural memory, classical conditioning, and semantic memory，涉及基底神經節，小腦和新皮層；
- rapid encoding of single items：包括 familiarity and priming，涉及海馬旁回和新皮層。
然而這個模型沒有很好的相容 emotional memories，因為對于情感記憶的學習，無法确定地劃分快與慢。
3.4 Expanded parallel model of memory systems
制定該模型是為了解決以下事實：一個記憶系統擷取的資訊可以被另一個記憶系統利用。與記憶子產品地競争或合作互動不同，這表示記憶系統之間的存在其他類型的互動方式。
Expanded parallel model 強調了記憶系統的核心結構不僅可以接收資訊，而且還可以将資訊發送回皮層，皮層被認為可以長期存儲這些記錄。在共享感官輸入 and/ or 運動輸出的情況下，由不同記憶系統建立的皮質 memory traces 最終共享神經基礎。是以，記憶系統可以通過充當傳遞點或“集線器”的通用皮質表示進行間接通信，以提供可以交換資訊的神經基質。應當指出，“皮質”在這裡并不意味着所有存儲系統都可以投射到一個特定的大腦區域，而是一個通用術語，涵蓋了諸如前額葉，内側颞葉，運動等其他分布式皮質網絡。
通過允許記憶子產品之間的通信，Expanded parallel model 還可以說明記憶的多面卻統一的性質：我們可以回顧事實或事件，但同時我們也可以“帶回”過去情節的procedural or emotional elements ，一切都緊密結合在一起。
3.5 Heterarchic model of memory systems
該模型背後的想法源自觀察到的海馬體病變産生的順行性遺忘 (anterograde) 作用比逆行性遺忘 (retrograde) 作用小。層次結構是一種組織形式，其中級别不是像上級那樣以上級或下級關系組織，而是循環地組織。這是通過各層之間的交叉連接配接實作的，其結果是産生非傳遞關系。在此模型的上下文中，層次結構被了解為不同記憶系統核心結構的集合，其層次結構由它們影響大腦活動和直接行為的能力決定。當這些核心結構之一被破壞時，層次結構就會改變。
海馬體通常位于此層次結構的頂部，它接收經過高度處理的多種感官模态作為輸入，并将輸出傳回到相同的區域（此處要注意：廣泛的輸入/輸出是通過内嗅皮層實作的）。根據收到的經過高度處理的輸入，海馬體會生成皮質中環境提示的聯合表征。然後，将這些表征形式整合到幾個可以影響運動動作的效應器系統中（杏仁核，額葉皮層，紋狀體和小腦）。
最初，提示連接配接的表征依賴于海馬體的重新激活，但是随着這些連接配接的反複經驗以及皮質表征的海馬依賴性的激活，在皮質與其他記憶結構之間（除了海馬）形成了關聯。新的關聯會影響記憶體記憶之間的交叉連接配接（這是賦予記憶體結構多變的特征），并使得在反複暴露後能夠獨立于海馬體檢索記憶資訊。如果在完全實作交叉連接配接之前損壞海馬體，則會損害記憶。否則，資訊檢索将不受阻礙地進行。
順行性失憶和逆行性失憶之間的差異可以通過海馬體在恢複分布式記憶軌迹中的關鍵作用來解釋：
逆行性失憶更具破壞性，因為海馬體是恢複記憶軌迹所必需的。
該模型還考慮了遮蓋作用，即海馬體幹擾資訊擷取和存儲在其他存儲電路中的過程：海馬體形成的聯合表征，使用了與其他記憶系統用于自身表征的相同的路徑來控制運動輸出。
3.6 Evolutionary accretion model
該模型構成了記憶系統理論的最清晰，最徹底的修訂。
該模型的基礎是兩個前提：
- 在進化過程中的不同時間點開發的各種記憶系統，每個新系統都賦予了更高的環境适應性；
- 皮層區域的專業化是其産生的表征，而不是心理過程。
從最舊到最新，列出了七個不同的記憶系統：
- reinforcement：包括基底神經節，杏仁核和小腦的記憶電路。代表刺激，反應和結果之間的關聯；
- navigation：用于引導環境中的 journeys；
- biased competition：調解已經存在的記憶系統之間的競争；
- manual foraging：用于将視覺資訊轉換為名額，并根據目前需求調整操作的價值；
- feature：有兩個分别用于屬性和度量的子系統；
- goal：通過将目标表征與上下文、動作和結果表示相結合來減少錯誤；
- social-subjective：代表自我和他人。
盡管仍基于子產品化的記憶理論，但該解釋與目前關于大腦記憶組織的觀點有很大不同。在系統發育上，較新的記憶系統通過重新表征的過程內建了較舊的記憶系統生成的表征，即從較低級别表示的資訊的進階抽象，從某種意義上說，記憶系統是按層次結構組織的。是以，産生更多抽象表征形式的“晚期”記憶系統，并不是獨立且從頭開始建構的，而是與功能增強的現有記憶系統內建在一起的。由于這種組織，“早期”存儲系統在存儲過程中具有更廣泛的影響。例如，在進化上最古老的 reinforcement system 與所有其他記憶系統的功能息息相關。
根據該模型，顯性記憶和習慣之間的二分法沒有意義，因為它們都包含了基底神經節功能。人類獨有的顯式記憶被認為不是源于中間時态記憶系統的功能，而是navigation, feature, goal, and social-subjective memory systems 之間的互動作用。目前包括在颞颞葉内側系統中的大腦區域（海馬加上内嗅，皮層和海馬旁皮質）産生不同類型的表征（scene memory and perception; conjunctions of objects and goals; feature conjunctions; conjunctions of objects and locations, respectively）本質上既是記憶的又是感性的。