1. 任務背景
1.1 Model Capacity/Depth
1.2 ImageNet
2. Architecture
2.2 多卡訓練
2.3 Local Response Normalization
2.4 Overlapping Pooling
3. Reducing Overfitting
3.1 Data Augmentation
3.2 Dropout
4. Details of learning
5. Feature Extractor
6. 參考
當然我有兩個問題沒有解決：
Local Response Normalization 的 backprop 是怎麼做的（後文給出了caffe的代碼）；
data augmentation 的 Fancy PCA 怎麼算一張三通道圖像的特征值和特征向量的（後文給出了cuda-convnet代碼位置）？
下面我會逐一來詳細分析這幾個要點。不過首先來說一下任務背景。
1. 任務背景
1.1 Model Capacity/Depth
介紹部分有說到對 training se t做了 label-preserving 的 transformation，說白了就是一定程度的資料擴增（data augmentation），其實用更多的資料來訓練模型這點大家都懂，尤其是資料多樣性可以覆寫要訓練的目标類别，多樣性越豐富訓練出的模型效果越好（YOLO文章作者曾寫過一篇預測機器人物體抓取位置預測的文章，裡面資料擴增的比例是1:3000，當然結果也是好的驚人，其實我也有點納悶是模型好，還是資料擴增的作用做到了state of art）。
此外這篇文章說到 model capacity 要足夠大，這樣才能從上百萬圖檔中學到東西。作者提到前人的工作表示model capacity 可以了解為網絡的寬度和深度，相比前饋網絡（Feedforward Network，也就是多層感覺器，即MLP），前人的理論證明相同層數的多層感覺器和卷積網絡，卷積神經網絡雖然參數少易于訓練（更易收斂），但性能（準确率）上卷積網絡要稍微差一些（其實我不太懂這裡作者的邏輯，見下面）。
Thus, compared to standard feedforward neural networks with similarly-sized layers, CNNs have much fewer connections and parameters and so they are easier to train, while their theoretically-best performance is likely to be only slightly worse.
Our final network contains five convolutional and three fully-connected layers, and this depth seems to be important: we found that removing any convolutional layer (each of which contains no more than 1% of the model’s parameters) resulted in inferior performance.
our network’s performance degrades if a single convolutional layer is removed. For example, removing any of the middle layers results in a loss of about 2% for the top-1 performance of the network. So the depth really is important for achieving our results.
our results have improved as we have made our network larger and trained it longer.
AlexNet 閱讀了解 - ImageNet Classification with Deep Convolutional Neural Networks論文了解 - ImageNet Classification with Deep Convolutional Neural Networks
總是說“機率分布”、“拟合”，那網絡到底學了什麼。這裡給出一頁slide是CS231n這門課上關于線性回歸的介紹，其中下面的10張可視化出來的小圖就是這個線性分類器學到的權重矩陣 W 對每個類别的權重向量可視化的結果。這10張小圖從右往左數第三個是馬，但模模糊糊好像是一個雙頭馬，而且左邊的頭更明顯一些。這是因為訓練資料中馬的頭大多數是朝向左邊的，其實這個過程就是在拟合資料得到一個模闆，讓新來的圖像x和這個權重矩陣W（或者說是一個類别模闆）計算 f(x,W)=Wx+b f ( x , W ) = W x + b ，輸入圖像與各個類的權重向量（W整個權重矩陣是所有類的權重向量拼起來的）的模闆越比對，則算出來那一類的機率值就越大。雖然這個例子比較感性，但我想足已展現監督學習都是在拟合機率分布這個事實。
其實，監督模型拟合機率分布中的訓練資料每類别的樣本占比，這個還挺重要的。比方實際貓狗分類，需要考慮分類器的應用場景，若狗的訓練資料過多而貓很少（想象一個極端情況：總計10000張貓狗圖像，狗有10張剩下全是貓的圖像），用這樣類别極度不平衡的資料訓練處的分類器大機率會把物體識别為貓，因為分類器對狗學習得不夠多，不了解，反而對貓學習得過多很可能造成了嚴重的過拟合。如果實際的使用場景中狗作為異常點，比方一個貓貓樂園要統計貓的數量來确定每天需要的食物量確定不要把外來的狗計算在内（狗就被當做異常），即使資料傾斜得厲害（貓多狗少），這個分類器在實際中大機率也還是可以用的。還有一個例子是 Kaggle 小夥伴在一個二分類比賽中送出 test 類别完全一樣的submission，結合 evaluation 的公式來public board上的類别分布，進而估計private board上的類别分布，進而在訓練的時候按照這一的比例去訓練模型，最後拿到了不錯名次。
1.2 ImageNet
ImageNet包含22000個類别的1500萬張圖像（主要标注任務由項目負責人 FeiFei Li 組織完成，大部分标注任務使用了亞馬遜的衆包項目完成）。因為ImageNet這個項目和FeiFei Li等人的不懈努力，有一個名叫ILSVRC（ImageNet Large Scale Visual Recognition Challenge）的年度比賽，作為 Pascal Visual Object Challenge 的一部分。但ILSVRC隻用了ImageNet資料集中的一個子集資料：包含1000類，每類大概1000張圖像，訓練集有120萬張圖像、驗證集 5 萬張圖像以及 15 萬張用來測試的圖像。分類任務的模型性能習慣用top-1和top-5兩個錯誤率進行不同模型的比較。
因為本身ImageNet的圖像分辨率是不同的，而我們的分類系統一般而言輸入都是固定大小的。作者的做法是将圖像下采樣到一個固定的 256×256 分辨率。對于矩形圖像，将其短邊縮放到256像素，然後從中間部分crop out 256×256 大小的圖像patch。作者做的預處理操作隻有一個——将圖像中每個像素值減去整個訓練集所有圖像同一位置處的像素均值。相當于作者喂給網絡的是一個 centered raw RGB像素值。
As a fun aside, if you read the actual paper it claims that the input images were 224×224, which is surely incorrect
because (224 – 11)/4 + 1 is quite clearly not an integer. This has confused many people in the history of ConvNets and little is known about what happened. My own best guess is that Alex used zero-padding of 3 extra pixels that he does not mention in the paper.
from CS231n blog
norm1層：norm就是 local response normalization，基于局部小區域的像素值強度歸一化（後面介紹），對feature map大小沒有影響；
pool1層（pool：max；kernel size：3；stride：2）：上一層卷積feature map次元（把兩個支路一起看）為： W=55,H=55,D=96 W = 55 , H = 55 , D = 96 , 分别表示寬度、高度、深度（channel數）。經過pool後的結果這麼算： W1=(W−F)/S+1;H1=(H–F)/S+1;D2=D1 W 1 = ( W − F ) / S + 1 ; H 1 = ( H – F ) / S + 1 ; D 2 = D 1 ，其中 F F 和 SS 分别是兩個pool的超參數池化空間擴充（spatial extent，相當于池化的kernel）和池化步幅（Stride）。那麼得到的新的 feature volume的長、寬、深（通道數）為 W1=27;H1=27;D1=96 W 1 = 27 ; H 1 = 27 ; D 1 = 96 ，整體規模為 [(55−3)/2+1]×[(55–3)/2+1]×96=69984 [ ( 55 − 3 ) / 2 + 1 ] × [ ( 55 – 3 ) / 2 + 1 ] × 96 = 69984 ；
卷積層2：權重規模為（拆成兩路算）： (5×5×48×128+128)×2=307456 ( 5 × 5 × 48 × 128 + 128 ) × 2 = 307456 。其實有個很基礎的公式（也帶計算bias）： #inputchannel×#kernelsize2×#outputchannel+#outputchannel # i n p u t c h a n n e l × # k e r n e l s i z e 2 × # o u t p u t c h a n n e l + # o u t p u t c h a n n e l ，這裡是雙路GPU所有每一路算各自的，最後乘以2.
AlexNet 閱讀了解 - ImageNet Classification with Deep Convolutional Neural Networks論文了解 - ImageNet Classification with Deep Convolutional Neural Networks
Layer Name
model size of one-gpu net
model size of two-gpu net
feature map
input
–
–
150,528
conv1
34,944、8（hyper-params）
34944、16
290,400
norm1
3（local size、alpha、beta）
6
290,400
pool1
2（kernel size、stride）
4
69,984
conv2
307,456、8
307,456、16
186,624
norm2
3
6
186,624
pool2
2（kernel size、stride）
4
43,264
conv3
885,120、8
885,504、16
648,96
conv4
663,936、8
663,936、16
648,96
conv5
442,624、8
442,624、16
43,264
pool5
2（kernel size、stride）
4
4,608
fc6
37,752,832、6（有dropout）
37,752,832（強調：每張卡攤一半）、12
4,096
fc7
16,781,312、6（有dropout）
16,781,312（同上）、12
4,096
fc8
4,097,000、5
4,097,000（強調：reduce到一張卡）、5
1,000
SUM
400,740,785
基本同左
1,404,680
最後算出來，one-gpu net 和 two-gpu net 的model參數規模基本一緻，量級都在4000萬。feature map的量級在140萬（feature map就是作者文中所說的neurons個數）。不過可以發現，和作者開頭所寫的模型參數6000萬，神經元數量（feature map）60萬是不吻合的。不過還是以我算的為準吧（作者又算錯了）。
AlexNet 閱讀了解 - ImageNet Classification with Deep Convolutional Neural Networks論文了解 - ImageNet Classification with Deep Convolutional Neural Networks
AlexNet 閱讀了解 - ImageNet Classification with Deep Convolutional Neural Networks論文了解 - ImageNet Classification with Deep Convolutional Neural Networks
2.2 多卡訓練
兩張小破卡GTX 580 3GB（查了下CUDA compute capacity為2.0，現在成本效益最高的1080是6.1）是要解決一張卡，顯存塞不下模型的問題，但其實我也有疑問，後文又說到 two-gpu net 比 one-gpu net 的 acc 要高，這個one-gpu net 如果說是用580的卡，豈不是沖突，一種可能是作者有顯存更大的卡，在保證其他都一樣的情況下，又訓練了一遍發現兩張卡的結果好；要麼就是縮小了模型或圖像分辨率等等，把模型和中間的結果得以塞進一張卡。後來我又想了下，有可能是作者先跑了one-gpu net的模型，之後跑two-gpu net的模型時，然後忘了改學習率，或者說bsize比較小。當然都有可能啦。
那麼具體來說一下兩張卡相比單張卡在模型訓練過程中的差異。在上下兩路中第2層、第4層、第五層的卷積會有參數共用，若是單GPU訓練，這裡其實就是 group=2。簡單來說，如果上一層的 feature map 的depth為256，在group=2的情況下，256會分為兩個128的feature map（即feature map A和feature map B），同時這一層的卷積kernel也會分為等數量的兩組比方C和D，那麼做conv的過程就是：用C這一組卷積核隻在A上做，用D這一組卷積核隻在B上做。那麼最後就是 A×C+B×D A × C + B × D 。而這裡巧妙之處在于為了節省顯存，作者用2個GPU實作了group=2這個概念，在當時可能還沒有group這個卷積分組的概念。
This means that, for example, the kernels of layer 3 take input from all kernel maps in layer 2. However, kernels in layer 4 take input only from those kernel maps in layer 3 which reside on the same GPU.
圖中第三個卷積層，第一個、第二個全連接配接層有參數共享，最後一個全連接配接的網絡參數都在第二張卡上（相當于第一張空了）做reduce。除此之外，網絡上下兩部分（即兩個GPU對應的兩個分支）都是相同的。但是這裡有個問題在于，我算第三個卷積層的時候，two-gpu net 比 one-gpu net多了384個參數（來自多出一個GPU所帶來的conv3 的 filter數量個bias），因為兩個 gpu 存在兩組filter，但其實還是對作者上面這句話不太了解：似乎是說兩張卡隻有一張卡存模型參數，如果是這樣，那麼參數量就多計算了384個。其實這裡忽略吧，畢竟現在即使是多張卡，也都是one-gpu net的資料并行，而不是模型并行。
AlexNet 閱讀了解 - ImageNet Classification with Deep Convolutional Neural Networks論文了解 - ImageNet Classification with Deep Convolutional Neural Networks
AlexNet 閱讀了解 - ImageNet Classification with Deep Convolutional Neural Networks論文了解 - ImageNet Classification with Deep Convolutional Neural Networks
這裡放出池化算法的具體步驟（摘錄自CS231n）：
Accepts a volume of size W1×H1×D1W1×H1×D1
Requires two hyper-parameters:
their spatial extent F,
the stride S,
Produces a volume of size W2×H2×D2 W 2 × H 2 × D 2 where:
W2=(W1−F)/S+1 W 2 = ( W 1 − F ) / S + 1
H2=(H1−F)/S+1 H 2 = ( H 1 − F ) / S + 1
D2=D1 D 2 = D 1
Introduces zero parameters since it computes a fixed function of the input
Note that it is not common to use zero-padding for Pooling layers
3. Reducing Overfitting
Although the 1000 classes of ILSVRC make each training example impose 10 bits of constraint on the mapping from image to label, this turns out to be insufficient to learn so many parameters without considerable overfitting.
，訓練過程中的forward和backward會随機使這一層的神經元以 p p <script type="math/tex" id="MathJax-Element-415">p</script> 的機率失活，在AlexNet中dropout在前兩個全連接配接層。deeplearn toolbox的實作如下：
% dropout
% forward stage in NN\nnff.m
if(nn.dropoutFraction > )
if(nn.testing)
nn.a{i} = nn.a{i}.*( - nn.dropoutFraction);
else
nn.dropOutMask{i} = (rand(size(nn.a{i}))>nn.dropoutFraction);
nn.a{i} = nn.a{i}.*nn.dropOutMask{i};
end
end
% backward stage in NN\nnbp.m
if(nn.dropoutFraction>)
d{i} = d{i} .* [ones(size(d{i},),) nn.dropOutMask{i}];
end
