文章目录
- Neurons – Biological and Artificial
- Artificial Neural Networks (ANN)
- 第一个神经元
- 简单感知机
- 前馈VS反馈
- 感知机实现逻辑运算
- 线性可分
- 线性可分的核心trick
- 感知机核心算法
- 多层感知机
- 反馈算法
Neurons – Biological and Artificial
非重点，了解神经网络中的结点是又有输入又和其他的结点有输入即可。
Artificial Neural Networks (ANN)
结构和基本概念还是要理解的。
首先对输入加权，然后transfer function做一个转换，（典型是做求和），最后经过一个activation function（典型是通过阈值做处理），得到y，然后对y做一些类似阈值的处理，就能得到label。
第一个神经元
简单感知机
前馈VS反馈
前馈神经网络（FeedForward NN ) :是一种最简单的神经网络，采用单向多层结构，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。
反馈神经网络（FeedBack NN ):又称递归网络、回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神经网络、Elman神经网络、Boltzmann机等。
前馈神经网络和反馈神经网络的主要区别：
前馈神经网络各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据正向流动；反馈神经网络层间神经元有连接，数据可以在同层间流动或反馈至前层。
前馈神经网络不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；反馈神经网络考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型。
前馈神经网络的学习主要采用误差修正法（如BP算法），计算过程一般比较慢，收敛速度也比较慢；反馈神经网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快。
相比前馈神经网络，反馈神经网络更适合应用在联想记忆和优化计算等领域。
感知机实现逻辑运算
感知机的基本运算规则我们知道了。那么只要把权重设置好，就可以完成逻辑运算。x1和x2就是输入，输出是一个值。然后可以用阈值函数决定大于多少的时候是true,小于多少的时候是false。
线性可分
这里理解逻辑函数的线性可分，x1和x2是输入，输出在二维平面上，那么就可以用一个直线，把不同的label分隔开，实现分类。
线性可分的核心trick
投影到更高维的平面实现可分。
感知机核心算法
理论好理解。
多层感知机
反馈算法