EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
前言
我們在設計一個網絡的時候會考慮到網絡的深度、寬度、輸入圖檔的分辨率，人們常常将網絡加深和加寬，或者是增加輸入圖檔的分辨率來改進準确度。如ResNet can be scaled up from ResNet-18 to ResNet-200 by increasing the number of layers，事實上，人們一般通過單一的增加這三個次元中的一個次元（這裡的次元是指depth、width and resolution）來提高網絡的性能，但是這并不是最優解。是以産生了一個問題到底怎樣的depth、width、resolution的搭配才是最優的，這篇論文就是解決這樣的一個問題，所使用的方法叫做Compound Model Scaling（複合縮放）。
對以上公式的解釋：
- α , β , γ \alpha,\beta,\gamma α,β,γ都是需要通過網格搜尋得到的變量（grid search）
- ϕ \phi ϕ是根據自己的計算資源人為給定
相比于傳統的模型縮放方法，該複合縮放方法可持續改善模型的準确率和效率，如 MobileNet 的 ImageNet 準确率提升了 1.4%，ResNet的準确率提升了 0.7%。
由于網絡的性能嚴重依賴于基線網絡的性能，作者使用AutoML MNAS架構進行神經網絡架構的搜尋以及各種的方法，進而的到了EfficientNets-B0：
效果
研究人員在 ImageNet 資料集上對比了 EfficientNets 和已有 CNN 模型。EfficientNet 模型要比已有 CNN模型準确率更高、效率更高，其參數量和 FLOPS 都下降了一個數量級。例如，在高準确率的模式中，EfficientNet-B7 在 ImageNet上獲得了目前最優的 84.4% top-1 / 97.1% top-5 準确率，CPU 推斷速度是 Gpipe 的 6.1 倍，而後者的大小是EfficientNet-B7 的 8.4 倍。與現在廣泛使用的 ResNet-50 相比，EfficientNet-B4 使用類似的 FLOPS 取得的top-1 準确率比 ResNet-50 高出 6.3（ResNet-50 76.3%，EfficientNet-B4 82.6%）
EfficientNet-B0 是通過 AutoML MNAS 開發出的基線模型，Efficient-B1 到 B7是擴充基線模型後得到的網絡。EfficientNet 顯著優于其他 CNN。具體來說，EfficientNet-B7 取得了新的 SOTA 結果：84.4%top-1 / 97.1% top-5 準确率，且其大小遠遠小于之前的最優 CNN 模型 GPipe （後者的模型大小是 EfficientNet-B7 的8.4 倍），速度是 GPipe 的 6.1 倍。EfficientNet-B1 的參數量遠遠小于 ResNet-152，但速度是後者的 5.7 倍。
對我們的幫助
由于此方法需要大量的計算資源，并不适合個人來做，但是當我們在使用以前的backbone時，可以考使用開源好的EfficientNets的網絡來直接作為backbone
參考：
https://www.chainnews.com/articles/200576776583.htm
https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html