• Ø RBF： 分類任務中除BP之外最常用
• Ø ART：“競争學習”的代表 （本文未提）
• Ø SOM：最常用的聚類方法之一
• Ø 級聯相關網絡：“構造性”神經網絡的代表
• Ø Elman網絡：遞歸神經網絡的代表
• Ø Boltzmann機：“基于能量的模型”的代表 （本文未提）
• Ø ……
RBF 神經網絡 RBF: Radial Basis Function (徑向基函數)
• 單隐層前饋神經網絡
• 使用徑向基函數作為隐層神經元激活函數 ，例如高斯徑向基函數
• 輸出層是隐層神經元輸出的線性組合
Step1：确定神經元中心，常用的方式包括随機采樣、聚類等
Step2：利用BP算法等确定參數
：
Ø BP：各調參數對網絡的輸出具有 同等地位的影響，是以BP神經網 絡是對非線性映射的
全局逼近。
Ø RBF網絡的輸出與部分調參數有 關，譬如，一個wij值隻影響一個yi的輸出，RBF神經網絡是以 具有
“局部映射”特性。（我們的人腦很多時候也是對局部信号作出反應）
2、中間層數的差別BP神經網絡可以有多個隐含層， 但是RBF隻有一個隐含層。
3、訓練速度的差別使用RBF的訓練速度快，一方面是因為隐含層較少，另一方面，局部逼近可 以簡化計算量。對于一個輸入x，隻有部分神經元會有響應，其他的都近似為0， 對應的w就不用調參了
SOM 神經網絡
SOM 神經網絡
SOM: Self-Organizing feature Map (自組織特征映射)
• 神經網絡在接受外界輸入時，将會分成不同區域，不同區域對不同 模式具有不同的響應特征。如人對貓和狗的概念儲存在不同區域。
• 競争型的無監督神經網絡
• 将高維資料映射到低維空間（通常為2 維）,高維空間中相似的樣本點映射到 網絡輸出層中鄰近神經元
• 目标：為每個輸出層神經元找到合适的 權向量以保持拓撲結構
訓練：• 網絡接收輸入樣本後，将會确定輸出層的“獲勝”神經元（“勝者通吃”）
• 獲勝神經元的權向量将向目前輸入樣本移動
假如輸入的資料樣本在N為空間上
均勻分布（樣本點在高維空間呈格子狀）， 初始化時的權重w為随機，那麼輸出層也是随機的，如圖(1)。通過不斷的疊代 修改權值w，輸出層慢慢也呈現出均勻格子結構，如(1)-(8)變化。這個例子說 明SOM神經網絡可以把高維空間映射到平面，進而實作降維。
級聯相關網絡
CC: Cascade-Correlation (級聯相關)
構造性神經網絡：将網絡的結構也當做學習的目标之一，希望在訓練過程中找到适合資料的網絡結構
訓練：
• 開始時隻有輸入層和輸出層
• 級聯-新的隐層結點逐漸加入，進而建立起層級結構
• 相關-最大化新結點的輸出與網絡誤差之間的相關性
Elman 網絡
遞歸神經網絡：Recurrent NN, 亦稱Recursive NN
•網絡中可以有環形結構, 可讓使一些神經元的輸出回報回來作為輸入
• t 時刻網絡的輸出狀态：由t 時刻的輸入狀态和t-1 時刻的網絡狀态 共同決定
Elman 網絡是最常用的遞歸神經網絡之一
• 結構與前饋神經網絡很相似, 但隐層神經元 的輸出被
回報回來
• 使用推廣的BP算法訓練
目前在自然語言處理等領域常用的LSTM 網絡， 是一種複雜得多的遞歸神經網絡
參考文獻：周志華西瓜書