深度神经网络：特点、问题及解决

• CNN：具有强大的提取局部特征的能力
• dropout：防止过拟合（drop 层内的一些 neurons）；

• residual learning，是跳过某一些 layer
• 加快模型的训练速度；

• softmax（全连接）：多分类任务

0. deep learning

• high-level abstractions in data
• deep graph with multiple processing layers
• composed of multiple linear & non-linear transformations

1. Vanishing Gradient（梯度消失）

• Greedy Layer-wised Pretraining（贪婪逐层预训练）和有监督调优训练，

• Hinton 和他的学生 Salakhutdinov
• G. E. Hinton and R. R. Salakhutdinov,”Reducing the dimensionality of data with neural networks,” Science, vol. 313, pp. 504-507, 2006.

2. auto-encoder

一种 compressed representation，压缩表示；

本身的架构 autoencoder 包括，encoder 和 decoder。

• autoencoder（input, output）

• encoder(input, encoded)
• decoder()

• input train input，以实现一种无监督的方式；

• auto，自，是和 无监督相对应的；

• data-specific，数据依赖；
• lossy，有损耗的，失真，
• learn from examples，如果是用 face 来 train，它可能会对 face 的压缩比较好；

• 数据降噪；
• 数据降维；

3. 从 AE 到 SDA

• nonlinearity：非线性性；

• h(⋅)

• deep；

• stacking of multiple layers；