天天看點

深度學習公式推導(3):初探神經網絡

深度學習公式推導(3):初探神經網絡

經過上節的講述我們能夠了解輸入x、權重w、偏置b (-θ)之間的關系,如下圖所示:

深度學習公式推導(3):初探神經網絡

公式中的n 代表有n個輸入項,是以所有的輸入值最終等于z,之前我們通過u(z) 的函數得到的結果y,0 或者1 。為了擷取y 點火的機率,我們使用了 激活函數 a(z) ,激活函數的目的是表示y 點火的機率是多少,如果結果靠近 1 就是點火的可能性較大,否則就認為可能性較小。

并且得出了激活函數的最終結果就好像兩個向量求内集如下:

深度學習公式推導(3):初探神經網絡

神經元網絡

有了神經元的概念打底再來看看多個神經元形成的網絡,每個神經元既可以發送信号,又可以接受信号,如果将信号發出的方向畫一條帶箭頭的先,箭頭的方向指向其他的神經元,那麼我們就可以畫出如下的一個網絡圖。

深度學習公式推導(3):初探神經網絡

如上圖所示,多個神經元構成了網絡,同時在同一個級别的神經元還形成了“層,”包括輸入層、隐藏層、輸出層,其中隐藏層也被稱為中間層。各層分别執行特定的信号處理操作。輸入層負責讀取給予神經網絡的資訊。屬于輸入層的神經單元隻是将從資料(信号)得到的值原樣輸出給下一層。隐藏層的神經單元會接受信号,通過a(z) 激活函數得到y 作為輸出信号傳遞給下一層的神經網絡。圖中可以看出存在兩層隐藏層,在實際情況中,可能存在多層隐藏層用來特征的抽取,具體操作後面的章節會提到。如此周而複始,直到将信号通過輸出層給到使用者。

深度學習,就是疊加了很多層的神經網絡,将從輸入層輸入的資料通過隐藏層的層層加工,最後通過輸出層輸出。

輸入層

假設有一張圖檔,我們用一個12 個神經元組成的輸入層,每個神經元代表一個像素,圖檔本身隻有黑白兩種像素。

深度學習公式推導(3):初探神經網絡

繼續閱讀