• Ø RBF： 分类任务中除BP之外最常用
• Ø ART：“竞争学习”的代表 （本文未提）
• Ø SOM：最常用的聚类方法之一
• Ø 级联相关网络：“构造性”神经网络的代表
• Ø Elman网络：递归神经网络的代表
• Ø Boltzmann机：“基于能量的模型”的代表 （本文未提）
• Ø ……
RBF 神经网络 RBF: Radial Basis Function (径向基函数)
• 单隐层前馈神经网络
• 使用径向基函数作为隐层神经元激活函数 ，例如高斯径向基函数
• 输出层是隐层神经元输出的线性组合
Step1：确定神经元中心，常用的方式包括随机采样、聚类等
Step2：利用BP算法等确定参数
：
Ø BP：各调参数对网络的输出具有 同等地位的影响，因此BP神经网 络是对非线性映射的
全局逼近。
Ø RBF网络的输出与部分调参数有 关，譬如，一个wij值只影响一个yi的输出，RBF神经网络因此 具有
“局部映射”特性。（我们的人脑很多时候也是对局部信号作出反应）
2、中间层数的区别BP神经网络可以有多个隐含层， 但是RBF只有一个隐含层。
3、训练速度的区别使用RBF的训练速度快，一方面是因为隐含层较少，另一方面，局部逼近可 以简化计算量。对于一个输入x，只有部分神经元会有响应，其他的都近似为0， 对应的w就不用调参了
SOM 神经网络
SOM 神经网络
SOM: Self-Organizing feature Map (自组织特征映射)
• 神经网络在接受外界输入时，将会分成不同区域，不同区域对不同 模式具有不同的响应特征。如人对猫和狗的概念储存在不同区域。
• 竞争型的无监督神经网络
• 将高维数据映射到低维空间（通常为2 维）,高维空间中相似的样本点映射到 网络输出层中邻近神经元
• 目标：为每个输出层神经元找到合适的 权向量以保持拓扑结构
训练：• 网络接收输入样本后，将会确定输出层的“获胜”神经元（“胜者通吃”）
• 获胜神经元的权向量将向当前输入样本移动
假如输入的数据样本在N为空间上
均匀分布（样本点在高维空间呈格子状）， 初始化时的权重w为随机，那么输出层也是随机的，如图(1)。通过不断的迭代 修改权值w，输出层慢慢也呈现出均匀格子结构，如(1)-(8)变化。这个例子说 明SOM神经网络可以把高维空间映射到平面，从而实现降维。
级联相关网络
CC: Cascade-Correlation (级联相关)
构造性神经网络：将网络的结构也当做学习的目标之一，希望在训练过程中找到适合数据的网络结构
训练：
• 开始时只有输入层和输出层
• 级联-新的隐层结点逐渐加入，从而创建起层级结构
• 相关-最大化新结点的输出与网络误差之间的相关性
Elman 网络
递归神经网络：Recurrent NN, 亦称Recursive NN
•网络中可以有环形结构, 可让使一些神经元的输出反馈回来作为输入
• t 时刻网络的输出状态：由t 时刻的输入状态和t-1 时刻的网络状态 共同决定
Elman 网络是最常用的递归神经网络之一
• 结构与前馈神经网络很相似, 但隐层神经元 的输出被
反馈回来
• 使用推广的BP算法训练
目前在自然语言处理等领域常用的LSTM 网络， 是一种复杂得多的递归神经网络
参考文献：周志华西瓜书