天天看點

11.感覺機

1:單一輸出單層感覺機

(1)單一輸出單層感覺機的優化過程(損失函數對權重的微分過程)

11.感覺機

 [注]

x的上标表示第幾層,下标表示第幾号節點。

w權重的上标表示第幾層,第一個下标表示上一層的第幾号節點,第二個下标表示下一層的第幾号節點。

O輸出的上标表示第幾層,下标表示第幾号節點。

σ為激活函數sigmoid

E為loss函數

t為目标值

φE/φWj0表示對相應的節點進行求導

[注]在上圖求導過程中省略步驟的解釋:φσ(x0)/φWj0用鍊式求導法則=(φσ(x0)/φx0)*(φx0/φWj0)

而φσ(x0)/φx0為激活函數sigmoid函數的求導,然而φx0/φWj0為對權重求和∑的求導。

(2):單層感覺機在pytorch中的使用(通過反複的運算的優化,可以得到最優的w權值)

11.感覺機

 [注][email protected]()為x*w的轉置

 2:多輸出單層感覺機

 (1)多輸出單層感覺機的優化過程(損失函數對權重的微分過程)

11.感覺機

[注]上圖中有一錯誤需要改正:σ下面的兩個∑改成σ。

(2)多輸出單層感覺機在pytorch中的使用

11.感覺機

 [注]59行中mse_loss()的第一參數最好與o的shape保持一緻。如圖之是以能夠運作成功是因為滿足broadcasting機制。

繼續閱讀