Hebbian principle（赫布理論）
Cells that fire together, wire together
描述突觸可塑性的原理， 即突觸前神經元向突觸後神經元的持續重複的刺激可以導緻突觸傳遞效能的增加。
簡述資訊
- GoogLeNet相較于2012年Krizhevsky提出的網絡結構，減少到了1/12的參數，并且更加精确。
- 對于大多數實驗，模型被設計為在推斷時間保持1.5billion次加乘運算。（嵌入式計算能力的加強，現實使用的可能性）
- Deep neural network的deep有兩方面意義：1.介紹了一種新水準的組織結構“Inception module”；2.不斷增加的網絡深度。
- 使用1*1的卷積層有兩方面的考慮：1、主要被作為降維子產品來減少計算瓶頸，使得增大網絡結構成為可能；2、使得不但增加了深度，同時增加了網絡的寬度，而又沒有顯著增加計算的負擔。
- 直接擴大網絡結構（深度和寬度）會有兩方面的影響：1、簡單擴大的網絡會更傾向過拟合，同時在标簽資料有限的情況下；2、增大計算負擔。增加一層，平方級地增加。解決這兩個問題的基本方法是将全連接配接層替換為一個稀疏的版本？（數學證明S. Arora, A. Bhaskara, R. Ge, and T. Ma. Provable bounds for learning some deep representations. CoRR, abs/1310.6343, 2013.）
Inception module
結構資訊
- 22層網絡結構
- 結構具體資訊
訓練方法
- Asynchronous stochastic gradient descent with 0.9 momentum
- fixed learning rate schedule (decreasing the learn- ing rate by 4% every 8 epochs)
- Polyak averaging was used to create the final model used at inference time
本作品采用知識共享署名-非商業性使用-相同方式共享 3.0 中國大陸許可協定進行許可。