1:單一輸出單層感覺機
(1)單一輸出單層感覺機的優化過程(損失函數對權重的微分過程)

[注]
x的上标表示第幾層,下标表示第幾号節點。
w權重的上标表示第幾層,第一個下标表示上一層的第幾号節點,第二個下标表示下一層的第幾号節點。
O輸出的上标表示第幾層,下标表示第幾号節點。
σ為激活函數sigmoid
E為loss函數
t為目标值
φE/φWj0表示對相應的節點進行求導
[注]在上圖求導過程中省略步驟的解釋:φσ(x0)/φWj0用鍊式求導法則=(φσ(x0)/φx0)*(φx0/φWj0)
而φσ(x0)/φx0為激活函數sigmoid函數的求導,然而φx0/φWj0為對權重求和∑的求導。
(2):單層感覺機在pytorch中的使用(通過反複的運算的優化,可以得到最優的w權值)
[注][email protected]()為x*w的轉置
2:多輸出單層感覺機
(1)多輸出單層感覺機的優化過程(損失函數對權重的微分過程)
[注]上圖中有一錯誤需要改正:σ下面的兩個∑改成σ。
(2)多輸出單層感覺機在pytorch中的使用
[注]59行中mse_loss()的第一參數最好與o的shape保持一緻。如圖之是以能夠運作成功是因為滿足broadcasting機制。