RBF神經網絡的一些個人了解

RBF徑向基函數，取值僅依賴于離原點距離的實值函數，任何滿足這種特性的函數就叫徑向基函數。一般采用歐氏距離，也可以用其他距離。

簡介：

是單隐層的前饋神經網絡，使用徑向基函數作為隐層神經元的激活函數，輸出層則是對隐層神經元輸出的線性組合（理論上可以設定多個隐層，但一般隻設計一個隐層）。是以從輸入空間到隐含層空間的變換是非線性的，而從隐含層空間到輸出層空間變換是線性的。

根據Cover定理，低維空間不可分的資料到了高維空間會更有可能變得可分。換句話來說，RBF網絡的隐層的功能就是将低維空間的輸入通過非線性函數映射到一個高維空間，然後再在這個高維空間進行曲線的拟合，它等價于在一個隐含的高維空間尋找一個能最佳拟合訓練資料的表面。

當RBF的中心點确定以後，這種映射關系也就确定了。而隐含層空間到輸出空間的映射是線性的，即網絡的輸出是隐單元輸出的線性權重和，此處的權即為網絡可調參數。由此可見，從總體上看，網絡由輸入到輸出的映射是非線性的，而網絡輸出對可調參數而言卻又是線性的。這樣網絡的權就可由線性方程組直接解出，進而大大加快學習速度并避免局部極小問題。

從另一個方面也可以這樣了解，多層感覺器（包括BP神經網絡）的隐節點基函數采用線性函數，通過激活函數來增加非線性因素；而RBF網絡的隐節點的基函數采用距離函數（如歐氏距離），并使用徑向基函數（如Gaussian函數）作為激活函數（bp網絡中輸入到隐層，隐層到輸出都是非線性的，因為都有激活函數）。徑向基函數關于n維空間的一個中心點具有徑向對稱性，而且神經元的輸入離該中心點越遠，神經元的激活程度就越低（值越小）。

訓練：

1. 确定神經元的中心，常用有随機采樣，聚類（聚類中心當成徑向基函數的h個中心）
2. 确定參數和門檻值，最小均方誤差LMS直接計算得到，或者通過梯度下降來對網絡中的參數都進行監督訓練優化，代價函數是網絡輸出和期望輸出的均方誤差

隻要有足夠多的隐層單元，RBF能以任意精度逼近任意連續函數線性的非線性函數。