深度神經網絡：特點、問題及解決

• CNN：具有強大的提取局部特征的能力
• dropout：防止過拟合（drop 層内的一些 neurons）；

• residual learning，是跳過某一些 layer
• 加快模型的訓練速度；

• softmax（全連接配接）：多分類任務

0. deep learning

• high-level abstractions in data
• deep graph with multiple processing layers
• composed of multiple linear & non-linear transformations

1. Vanishing Gradient（梯度消失）

• Greedy Layer-wised Pretraining（貪婪逐層預訓練）和有監督調優訓練，

• Hinton 和他的學生 Salakhutdinov
• G. E. Hinton and R. R. Salakhutdinov,”Reducing the dimensionality of data with neural networks,” Science, vol. 313, pp. 504-507, 2006.

2. auto-encoder

一種 compressed representation，壓縮表示；

本身的架構 autoencoder 包括，encoder 和 decoder。

• autoencoder（input, output）

• encoder(input, encoded)
• decoder()

• input train input，以實作一種無監督的方式；

• auto，自，是和 無監督相對應的；

• data-specific，資料依賴；
• lossy，有損耗的，失真，
• learn from examples，如果是用 face 來 train，它可能會對 face 的壓縮比較好；

• 資料降噪；
• 資料降維；

3. 從 AE 到 SDA

• nonlinearity：非線性性；

• h(⋅)

• deep；

• stacking of multiple layers；