天天看點

深度學習入門——單層感覺器

概念

感覺器(Perceptron)是神經網絡中的一個概念,在1958年由Frank Rosenblatt第一次引入。

單層感覺器可以用來區分線性可分的資料,并且一定可以在有限的疊代次數中收斂。

感覺器的學習規則規定,學習信号等于神經元期望輸出(教師信号)與實際輸出之差(r表示誤差):

r=dj−oj

r

=

d

j

o

j

式中,

dj

d

j

為期望的輸出,

oj=f(WTjX)

o

j

=

f

(

W

j

T

X

)

。感覺器采用了符号函數作為轉移函數,表達式為:

f(WTjX)=sgn(WTjX)={1,0,WTjX≥0WTj<0

f

(

W

j

T

X

)

=

s

g

n

(

W

j

T

X

)

=

{

1

,

W

j

T

X

,

W

j

T

<

W

W

代表矩陣, ww代表一個值。

是以,權值調整公式為:

ΔWj=η[dj−sgn(WTjX)]X

Δ

W

j

=

η

[

d

j

s

g

n

(

W

j

T

X

)

]

X

Δwij=η[dj−sgn(WTjX)]xii=0,1,...,n

Δ

w

i

j

=

η

[

d

j

s

g

n

(

W

j

T

X

)

]

x

i

i

=

,

1

,

.

.

.

,

n

  • η

    η

    表示學習率,(

    0<η≤1

    <

    η

    1

  • 兩次疊代之間的權值變化已經很小
  • 設定最大疊代次數,當疊代超過最大次數就停止。

式中,當實際輸出與期望值相同時 , 權重不需要調整。在有誤差存在的情況下,由于

dj

d

j

sgn(WTjX)∈1,1

s

g

n

(

W

j

T

X

)

1

,

1

,權值調整公式可簡化為:

ΔWj=±2ηX

Δ

W

j

=

±

2

η

X

感覺器學習規則隻适用于二進制神經元,初始權值可取任意值。

感覺器學習規則代表一種有監督學習。由于感覺器理論是研究其它神經網絡的基礎,該規則對于神經網絡的有監督學習具有極為重要的意義。

人體神經網絡

深度學習入門——單層感覺器

單層感覺器 模拟人體神經網絡:

單層感覺器(Single Layer Perceptron)是最簡單的神經網絡。它包含輸入層和輸出層,而輸入層和輸出層是直接相連的。

深度學習入門——單層感覺器

繼續閱讀