學習筆記，僅供參考，有錯必糾
文章目錄
- ImageNet Classification with Deep Convolutional Neural Networks
- 摘要
- Introduction
- dataset
- Architecture
- Training on Multiple GPUs
- Training on Multiple GPUs
- Local Response Normalization
- Overall Architecture
- Reducing Overfitting
- Data Augmentation
- Dropout
- Details of learning
ImageNet Classification with Deep Convolutional Neural Networks
摘要
top5:模型給出5個答案，隻要其中有1個答案是正确的,則認為模型判斷正确.
Introduction
網絡的大小被GPU限制，如果未來有更快的GPU以及更大的資料集，則模型會得到更好的結果.
dataset
使用的資料集為ImageNet的子集，包含1000個類别，每個類别有1000張圖檔. 本文，将1200000張圖檔作為訓練集，50000張圖檔作為驗證集，150000張圖檔作為測試集. 由于原始圖檔中的大小不一，是以，文中使用下采樣的方法，将原始圖檔resize成256*256的相同大小的圖檔.
Architecture
Training on Multiple GPUs
文中使用RELU激活函數，由圖1可知，使用RELU激活函數将錯誤率降低到25%，比使用tanh激活函數要快将近6倍.
Training on Multiple GPUs
使用多個GPU加快訓練速度.
Local Response Normalization
文中在池化層後加入了【局部響應歸一化】，進而降低top1和top5的錯誤率.
備注：該技術并不是在所有情況下都能提高模型性能，在2015年ICLR的VGGNet 的論文中提出，使用【局部響應歸一化】并不能提升結果，同時會增加了記憶體和計算量.
Overall Architecture
這裡的輸入層為是因為文中對的圖像進行了裁剪，進而增加了資料集. 盡管使用這種資料增強的方法會使資料之間存在高度相關，但同時會得到較好的效果.