[Deep Learning]——梯度、激活函數及其梯度求導(PyTorch)

Clarification：

1. 導數：一個函數在x處的變化量，即：導數本身是一個标量，x向左或者向右的變化率。
   1. 導數的方向可以任意指定
2. 偏微分：一個函數對其自變量變化率的描述，函數有多少個自變量就有多少偏微分
3. 梯度：把所有的偏微分當作向量來了解，梯度有方向和大小
   1. 梯度的長度反映：函數的變化趨勢，即目前點的增長速率
   2. 梯度的方向：在目前點的增長方向

 一、How to search for minima?

1、Convex function

凸函數：在曲面上任意取兩點：兩點連線的中點的Z值（z1），大于曲面上該點對應的值(z2)，即 z1 > z2，是以該曲面代表的函數是凸函數。 

 2、Local Minima

 （1）實際例子——ResNet-56層

深度殘差網絡（Deep residual network, ResNet）的提出是CNN圖像史上的一件裡程碑事件。ResNet的作者何凱明也是以摘得CVPR2016最佳論文獎。

• ResNet就有很多的局部極小值，很容易陷在局部最小值裡面
• 其實ResNet是解決了深度CNN模型難訓練的問題
• ResNet通過殘差學習解決了深度網絡的退化問題，讓我們可以訓練出更深的網絡，這稱得上是深度網絡的一個曆史大突破吧。

 3、Saddle point（鞍點）

鞍點是一個比局部最小值更可怕的點，在求解過程中很有可能卡到這個點影響最小值點的求解。

 4、其他影響求解的地方

上面的局部最優解 和 鞍點都會影響最小值，還有一些因素也會對求解有影響：

• Initialization status（初始狀态）：初始狀态不同會影響求解的最小值的大小（可能會出現求解的是局部最小值而不是全局最小值）
  • ​​​​​​​

    

• learning rate：開始如果不收斂學習率先設定小一點讓它慢慢收斂（比如：0.1，0.01， 0.001），後期慢慢收斂後可以适當調整大一些

  

• momentum（動量） 

二、常見函數的梯度

 三、激活函數

1、激活機制

 2、sigmoid (Logistic)

 求導過程：

 torch.sigmoid

import torch
import numpy as np

def detect_gpu():
    print(torch.__version__)
    print(torch.cuda.is_available())

#sigmoid函數
def test():
    detect_gpu()
    #從-100到100分成10份
    a = torch.linspace(-100, 100 , 10)
    print(a)

    print(torch.sigmoid(a))

if __name__ == '__main__':
    test()