模型的flops、推理速度、參數量

FLOPs不等價于推理速度：

相同flops可能推理速度不同，小flops可能推理速度長

原因：

FLOPs表示“浮點運算次數”

模型的推理時間影響因素：記憶體通路MAC (memory access cost)、并行化程度、平台等

ShuffleNet v2得出的重要結論：

• 同樣FLOPs下，高并行度的模型速度快于低并行度的模型。
• 分組卷積的分組數越大，MAC越大
• 卷積層輸入輸出通道數相同時，MAC最小

參數量則衡量模型具有的參數量值，和推理速度無關。如相同的參數量、不同的輸入大小，則推理速度自然不同。

參考：

https://www.zhihu.com/question/460007148