1. RNN神經網絡模型原理

2. RNN神經網絡模型的不同結構

3. RNN神經網絡-LSTM模型結構

1. 前言

RNN( Recurrent Neural Network 循環(遞歸)神經網絡) 跟人的大腦記憶差不多。我們的任何決定，想法都是根據我們之前已經學到的東西産生的。RNN通過反向傳播和記憶機制，能夠處理任意長度的序列，在架構上比前饋神經網絡更符合生物神經網絡的結構，它的産生也正是為了解決這類問題而應用而生的。今天本文介紹RNN的幾種不同的結構，有1vsN,Nvs1,NvsM等結構。

2. 1vsN RNN結構

輸入隻有一個\(X\)，輸出有多個\(y_1,y_2,...,y_t\)

這種1vsN結構的公式為：

\[h_t=f(UX+Wh_{t-1}+b)

\]

\[y_t=softmax(Vh_t+c)

應用場景：

• 從圖像生成文字（image caption），此時輸入的是圖像的特征，而輸出的序列是一段句子。
• 從類别生成語言或音樂等。

3. Nvs1 RNN結構

輸入有多個\(x_1,x_2,...,x_t\)，輸出隻有一個\(Y\)

\[h_t=f(Ux_t+Wh_{t-1}+b)

\[Y=softmax(Vh_T+c)

• 這種結構通常用來處理序列分類問題。如輸入一段文字判别所屬的類别，輸入一個句子判斷真情感傾向，輸入一段視訊并判斷它的類别等等。

4. NvsM RNN結構

在NvsM裡面我們又可以再細分，如果N=M那就是一一對應的RNN結構

輸入有多個\(x_1,x_2,...,x_t\)，輸出有多個\(y_1,y_2,...,y_t\)

• 這種廣泛的用于序列标注。

另一種是N!=M的RNN結構

輸入有多個\(x_1,x_2,...,x_n\)，輸出有多個\(y_1,y_2,...,y_m\)

如下所示：

• 這種結構廣泛的用于機器翻譯，輸入一個文本，輸出另一種語言的文本。