EfficientNet v2來了 更快、更小、更強

源碼測試，s模型78m多，還是挺多，我自己改了一版輕量級，3.4m，代碼附在本文最後。

本文提出一種訓練速度更快、參數量更少的卷積神經網絡EfficientNetV2。我們采用了訓練感覺NAS與縮放技術對訓練速度與參數量進行聯合優化，NAS的搜尋空間采用了新的op(比如Fused-MBConv)進行擴充。實驗表明：相比其他SOTA方案，所提EfficientNetV2收斂速度更快，模型更小(6.8x)。

在訓練過程中，我們可以通過逐漸提升圖像大小得到加速，但通常會造成性能掉點。為補償該性能損失，我們提出了一種改進版的漸進學習方式，它自适應的根據圖像大小調整正則化因子，比如dropout、資料增廣。

受益于漸進學習方式，所提EfficientNetV2在CIFAR/Cars/Flowers資料集上顯著優于其他模型；通過在ImageNet21K資料集上預訓練，所提模型在ImageNet上達到了87.3%的top1精度，以2.0%精度優于ViT，且訓練速度更快(5x-11x)。

在正式介紹EfficientNetV2之前，我們先簡單看一下EfficientNet；然後引出訓練感覺NAS與縮放，以及所提EfficientNetV2.

Understanding Training Efficiency

• Training with very large image sizes is sl