[太陽]基于神經科學角度的研究以及對于外部刺激所經曆的影響
從神經科學的角度來看，RNN 旨在以還原論的方式模仿人腦處理資訊的方式。在這種情況下，RNN 假設神經元嵌入随機連接配接的複雜網絡中，其内在活動受到外部刺激的影響。
持久的神經網絡活動使得給定刺激的資訊處理發生在對先前激勵的響應的上下文中。生成的網絡活動被投射到解釋或分類輸出的其他皮層區域。
正是這種受生物啟發的觀點激發了最初的 RNN 概念之一。RNN 的主要靈感來自于這樣一種洞察力，即大腦處理資訊生成由輸入感覺信号激發的瞬态神經元活動模式。使用單個動态節點作為複雜系統的資訊處理。
RNN的網絡結構通過隐藏層上的循環連接配接，可以将前一時刻的網絡狀态傳遞到目前時刻；同時目前時刻的狀态也可以傳遞到下一時刻。
在t時刻，隐藏單元h接收來自兩個方面的資料，即網絡前一時刻隐藏單元的值h t −1和目前輸入資料x t，并在目前計算輸出時刻通過隐藏單元的值。
時間t − 1的輸入x t− 1 然後可以影響時間的輸出t通過循環結構。RNN 的前向計算是按時間序列進行的，使用基于時間的 BP 算法更新網絡中的參數。
W sh是輸入單元到隐藏單元的權重矩陣。W hh是隐藏單元之間的連接配接權重矩陣。W hy是隐藏單元和輸出單元權重矩陣之間的連接配接。by y和b h是偏置向量。
計算過程中需要的參數是共享的。是以RNN 可以處理任意長度的序列資料。h t的計算需要h t−1，計算h t −1需要h t −2，依此類推。是以RNN中某一時刻的狀态依賴于過去的所有狀态。
RNN 可以将序列資料映射到序列資料輸出。但是，輸出序列的長度不一定與輸入序列的長度相同。根據不同的任務要求，會有各種對應。由 40 個 MTJ 組成的 RNN 被訓練用于漢字識别。黑線表示傳輸資訊的回報連接配接，紅線是輸出節點和每個 MTJ 之間的連接配接。
儲層計算是從遞歸神經網絡理論衍生出來的計算架構。Reservoir 是一個固定的非線性系統，具有将輸入信号映射到高維計算空間的内部動力學。
RNN由輸入、中間層和輸出組成，中間層的資訊遞歸傳播自身。中間層的狀态由目前輸入和過去中間層的狀态決定，即RNN中的中間層具有記憶效應。
輸入、中間和輸出被訓練以獲得所需的輸出。然而，當中間層具有足夠的記憶效應和非線性時，隻能通過優化輸出矩陣來實作計算。這導緻了 RC 的概念被提出。
RC的典型結構由輸入層、輸出層和動态儲層組成，。輸入層通過随機初始化的固定權重連接配接将輸入信号饋送到儲層。儲層在處理輸入信号之前将其映射到更高的次元。
這要求水庫足夠複雜、非線性、人口稀少、以某種方式自組織并具有短期記憶能力。水庫通常由大量随機互連的非線性節點組成，構成循環網絡，即具有内部回報回路的網絡。
在輸入信号的影響下，網絡表現出瞬态響應。這些瞬态響應通過各個節點狀态的線性權重和在輸出層讀出。RNN 的目标是實作輸入信号的特定非線性變換或對輸入進行分類。
分類涉及一組輸入資料之間的區分，例如識别圖像、語音、時間序列等的特征。系統中唯一經過訓練的部分是具有固定連接配接的輸出層權重。已經提出了基于 MTJ 的 RC，其中 MTJ 由 STT 驅動。
參考文獻
1.Garello ，“用于低功耗和超快嵌入式存儲器的 SOT-MRAM 300MM 內建”，2018 年。IEEE Symp。超大規模內建電路 (2018)
2.DB Strukov，基于金屬氧化物憶阻器的內建神經形态網絡的訓練和操作。自然521 (7550), 61 (2015)
3.Jiang，由自旋軌道力矩和 Dzyaloshinskii-moriya 互相作用驅動的疇壁 MTJ 的緊湊模型。(2021)
4.Fukami，2009 年“用于可擴充高速 MRAM 的低電流垂直疇壁運動單元”。症狀。超大規模內建電路技術。第 230-231 頁
5.MA Baldo，用于神經形态加速器的基于磁疇壁的突觸和激活函數發生器。納米萊特。20 (2), 1033–1040 (2020)
