cross-entropy函数作用是让神经网络学习的更快
偏导数
,
大小决定了学习的快慢
我们先看一个简单的模型，只有一个输入，一个神经元，一个输出
一.cost函数的模型为
对于单个的神经元有
其中a = σ(z), z = wx + b;
则有!
假设x=1,y=0
同理可以得到
从上面可以看出偏导数的大小决定于sigmoid函数的倒数，
从sigmoid函数的图像可以看出当输出接近1或者0的时候，曲线平缓，
很小，学习很慢
二.cross-entropy函数
定义cross-entropy函数
为什么能用来做cost函数
1.函数值大于0
2.当a=y的时候cost等于0
同理对c求w，b的偏导数
根据上面三个公式可以得到
同理可以得到
从上面两个公式可以看出他们学习的快慢取决于
也就是输出error，error大的时候，更新多，学习快，error小的时候更新少，学习慢。