時序模式、非線性濾波
以多層感覺器為例的靜态神經網絡的原型應用是結構化模式識别。時序模式識别或飛翔性濾波要求對随時間演化的模式進行處理，對特定的時刻的相應不僅依賴于輸入的目前值，還依賴于以前的值。簡單說，時間是有序的量，構成了時序模式識别任務中學習過程的重要成分。
對于動态神經網絡來說，它必須以一種或另一種形式給定短期記憶。完成這已修改的一個簡單途徑是利用時間延遲，時間延遲可以在網絡内部的突觸層或者外部地在網絡的輸入層上執行。确實，神經網絡中時間延遲的使用是受神經生物學啟發的，因為在大腦中信号延遲是無所不在的，且在神經生物資訊進行中起着重要的作用。時間可以通過如下的兩種基本途徑來嵌入神經網絡的運作中：
隐式表示。時間是通過其作用于信号處理的效果以一種隐含方式來表示的，這由通過外部方式對一個靜态神經網絡（如多層感覺器）提供動态屬性而得到。
顯示表示。在網絡結構内時間由它自身的特定表示給出。
建立在神經網絡上的非線性濾波：
由兩個子系統的層疊連接配接組成：短期記憶和靜态神經網絡（如多層感覺器）。這一結構對于處理規則提供了明确的分割：靜态網絡對應于非線性，記憶對應于時間。具體來說，假設給定了具有大小為m的輸入層的多層感覺器。那麼，在一個對應的途徑下，記憶是一個單輸入多輸出（SIMO）的結構，提供對模拟神經網絡的輸入信号的m哥不同延遲版本。
通用短視映射定理
任何平移不變的短視動态映射可以包含有兩個功能塊的結構任意地一緻逼近：一組線性濾波器饋給一個靜态神經網絡。
NETtalk網絡結構示意圖
NETtalk是将英語語音轉化為音速的大規模并行分布式網絡的第一個示範。音素（phoneme）是一個基本的語言機關。上面顯示了一個NETtalk系統的示意圖，它建立在一個多層感覺器的基礎上，輸入層由203的感覺（源）節點，隐藏層有80個神經元，輸出層有26個神經元。所有神經元都使用sigmoid（logistic）型激活函數。這個網絡的突觸連接配接有18629個，每個神經元包含有可變的門檻值。門檻值時偏置的負值。這個網絡使用标準的反向傳播算法進行訓練。這個網絡有7組輸入層節點。每組對輸入文本的1個字母進行編碼。進而每次将7個字母組成的串呈現給輸入層。訓練過程的期望相應是和7個字母視窗中央的一個（第四個）相聯系的正确因素。另外6個字母對網絡的每一個決策來說提供部分的上下文。通過一個字母接着一個字母的方式使文本通過視窗。在處理的每一步中，網絡都計算一個音速，沒學完一個單詞後，網絡的突觸權值就根據計算出的發音與正确的發音的接近程度進行調整。NETtalk的性能顯示出和觀察到的人類表現的相似之處:
訓練遵守有力的規律（power law）。
網絡學習的單詞越多，它的泛化性能和對新詞正确發音的性能就越好。
當網絡的突觸連接配接被破壞時，網絡性能的下降非常緩慢。