目录
- 1. 激活函数
- 1.1. 为什么需要激活函数(激励函数)
- 1.1.1. ReLU
- 1.1.2. sigmod
- 1.1.3. tanh
- 1.2. Pytorch常见激活函数
- 1.1. 为什么需要激活函数(激励函数)
- 2. 损失函数
- 2.1. Keras内置的损失函数
- 2.1.1. Keras core Loss
- 2.1.2. mean_squared_error
- 2.1.3. mean_absolute_error
- 2.1.4. binary_crossentropy
- 2.1.5. categorical_crossentropy
- 2.2. Pytorch内置的损失函数
- 2.2.1. 交叉熵:用于分类
- 2.2.2. 均方误差(MSE): 用于回归
- 2.1. Keras内置的损失函数
- 3. 反向传播
- 3.1. 链式法则
- 3.2. 神经网络优化算法
- 3.2.1. SGD
- 3.2.2. Momentum
- 3.2.3. Adagrad
- 3.2.4. RMSprop
- 3.2.5. Adam
- 4. Dropout函数
cnblog: Pytorch深度学习:损失函数、优化器、常见激活函数、批归一化详解
1. 激活函数
1.1. 为什么需要激活函数(激励函数)
在神经网络中,对于图像,我们主要采用了卷积的方式来处理,也就是对每个像素点赋予一个权值,这个操作显然就是线性的。但是对于我们的样本来说,不一定是线性可分的,为了解决这个问题,我们可以进行线性变化,或者我们引入非线性因素,解决线性模型所不能解决的问题。
这就是为什么要有激活函数:激活函数是用来加入非线性因素的,因为线性模型的表达力不够。
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsISM9AnYldnJwAzN9c3PnBnauQ0MlQ0MlcnW3BXbMRzZU1UejR0T4lEROhHM51ENNR0TxUFVOhXRE9UerRUT3lERNlHMp5kMnR1T6FkaNZ3aE10dJRUT5hTaOJzZU9keBpWT2NmMiNnSywEd5ITW110MaZHetlVdO1GT3lERNl3YXJGc5kHT20ESjBjUIF2Lc12bj5SYphXa5VWen5WY35iclN3Ztl2Lc9CX6MHc0RHaiojIsJye.jpg)
所以激活函数,并不是去激活什么,而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来(保留特征,去除一些数据中是的冗余),这是神经网络能解决非线性问题关键。
1.1.1. ReLU
简称为“抹零”