--------點選螢幕右側或者螢幕底部“+訂閱”，關注我，随時分享機器智能最新行業動态及技術幹貨----------
标準，循環，卷積和自動編碼器網絡
随着深度學習的飛速發展，已經建立了完整的神經網絡體系結構主機，以解決各種各樣的任務和問題。 盡管有無數的神經網絡架構，但對于任何深度學習工程師來說，這裡有11種必不可少的知識，它們分為四大類：标準網絡，遞歸網絡，卷積網絡和自動編碼器。
标準網絡
1 | 感覺器
感覺器是所有神經網絡中最基礎的，是更複雜的神經網絡的基本建構塊。 它僅連接配接輸入單元和輸出單元。
2 | 前饋網絡
前饋網絡是感覺器的集合，其中存在三種基本類型的層-輸入層，隐藏層和輸出層。 在每個連接配接期間，來自上一層的信号乘以權重，加到偏置上，并通過激活函數。 前饋網絡使用反向傳播來疊代更新參數，直到達到理想的性能為止。
3 | 殘留網絡(ResNet)
深度前饋神經網絡的一個問題稱為消失梯度問題，即當網絡太長而無法在整個網絡中反向傳播有用資訊時。 随着更新參數的信号通過網絡傳播，它逐漸減小，直到網絡前端的權重完全沒有改變或被利用為止。
為了解決這個問題，殘差網絡采用了跳過連接配接，可以跨"跳躍的"層傳播信号。 通過使用不太容易受到影響的連接配接，可以減少消失的梯度問題。 随着時間的流逝，網絡在學習特征空間時會學習恢複跳過的圖層，但由于其不易受到梯度消失的影響并且需要探索較少的特征空間，是以訓練效率更高。
循環網絡
4 | 遞歸神經網絡(RNN)
遞歸神經網絡是一種特殊類型的網絡，它包含循環并在其自身上遞歸，是以稱為"遞歸"。 RNN允許将資訊存儲在網絡中，使用先前訓練中的推理來做出有關即将發生的事件的更好，更明智的決策。 為此，它将先前的預測用作"上下文信号"。 由于其性質，RNN通常用于處理順序任務，例如逐個字母生成文本或預測時間序列資料(例如股票價格)。 他們還可以處理任何大小的輸入。
5 | 長期短期記憶網絡(LSTM)
RNN存在問題，因為實際上上下文資訊的範圍非常有限。 給定輸入對隐藏層(是以對網絡輸出)的影響(反向傳播錯誤)，要麼呈指數級爆發，要麼随着繞網絡連接配接循環而消失為零。 解決這個逐漸消失的梯度問題的方法是使用長短期記憶體網絡或LSTM。
這種RNN架構是專門為解決消失的梯度問題而設計的，将結構與存儲塊配合在一起。 這些子產品可以看作是計算機中的存儲晶片-每個子產品都包含幾個循環連接配接的存儲單元和三個門(輸入，輸出和忘記，相當于寫入，讀取和重置)。 網絡隻能通過每個門與單元互動，是以門學會了智能地打開和關閉，以防止梯度爆炸或消失，而且還可以通過"恒定錯誤輪播"傳播有用的資訊，并丢棄無關的存儲内容。
在标準RNN無法得知輸入事件與目标信号之間存在大于五到十個時間步長的時滞的情況下，LSTM不會受到影響，并且可以通過強制執行有用的恒定錯誤流來學習将時滞甚至連成1,000個時步。
6 | 回聲狀态網(ESN)
回聲狀态網絡是遞歸神經網絡的一種變體，具有非常稀疏的隐藏層(通常為百分之一的連接配接性)。 神經元的連通性和權重是随機配置設定的，并且忽略層和神經元的差異(跳過連接配接)。 學習輸出神經元的權重，以便網絡可以産生和再現特定的時間模式。 該網絡背後的理由來自這樣一個事實：盡管它是非線性的，但訓練過程中唯一修改的權重是突觸連接配接，是以可以将誤差函數區分為線性系統。
卷積網絡
7 | 卷積神經網絡(CNN)
圖像具有很高的維數，是以訓練一個标準的前饋網絡來識别圖像将需要成千上萬的輸入神經元，除了公然高昂的計算費用外，還可能引起許多與神經網絡的維數詛咒相關的問題 。 卷積神經網絡(CNN)通過使用卷積層和池化層來幫助降低圖像的維數，進而提供了解決方案。 由于卷積層是可訓練的，但是比标準隐藏層具有更少的參數，是以它能夠突出顯示圖像的重要部分并将它們向前傳遞。 傳統上，在CNN中，最後幾層是隐藏層，用于處理"壓縮圖像資訊"。
卷積神經網絡在基于圖像的任務上表現出色，例如将圖像分類為狗或貓。
8 | 反卷積神經網絡(DNN)
顧名思義，反卷積神經網絡的作用與卷積神經網絡相反。 DNN不是執行卷積來減小圖像的維數，而是利用反卷積來建立圖像，通常是根據噪聲來進行的。 這是一項固有的艱巨任務。 考慮CNN的任務是為奧威爾(Orwell)1984年的整本書寫一個三句摘要，而DNN的任務是從三句結構寫整個本書。
9 | 生成對抗網絡(GAN)
生成對抗網絡是一種專門設計用于生成圖像的特殊類型的網絡，它由兩個網絡(一個鑒别器和一個生成器)組成。 區分者的任務是區分是從資料集中提取圖像還是由生成器生成圖像，而生成者的任務是生成足夠有說服力的圖像，以使區分器無法區分其是否真實。
随着時間的流逝，經過精心的監管，這兩個對手彼此競争，互相推動，成功地改善了彼此。 最終結果是訓練有素的生成器，可以吐出逼真的圖像。 鑒别器是一個卷積神經網絡，其目的是最大程度地提高識别真實/僞造圖像的準确性，而生成器是一個反卷積神經網絡，其目的是最小化鑒别器的性能。
> Generator diagram.
自動編碼器
10 | 自動編碼器(AE)
自動編碼器的基本思想是擷取原始的高維資料，将其"壓縮"為高度資訊化的低維資料，然後将壓縮後的形式投影到新的空間中。 自動編碼器有許多應用，包括降維，圖像壓縮，去噪資料，特征提取，圖像生成和推薦系統。 它既可以作為無監督方法也可以作為有監督方法，可以非常洞悉資料的性質。
隐藏的單元可以用卷積層替換以适應處理圖像。
11 | 可變自動編碼器(VAE)
自動編碼器學習輸入的壓縮表示形式，例如可以是圖像或文本序列，方法是壓縮輸入然後将其解壓縮以比對原始輸入，而變分自動編碼器(VAE)學習機率分布的參數 代表資料。 它不僅僅是學習表示資料的函數，還獲得了更詳細，細緻的資料視圖，從分布中采樣并生成新的輸入資料樣本。 從這個意義上講，它更像是一種純粹的"生成"模型，例如GAN。
VAE使用機率隐藏單元格，該單元格将徑向基函數應用于測試用例與單元格均值之間的差異。
文章來源：
https://bigdata.51cto.com/art/202007/619992.htm文章轉自51cto，本文一切觀點和《機器智能技術》圈子無關