天天看點

tensorrt轉換模型進行了哪些操作對于網絡layer graph進行的操作:對于參數精度的操作:

對于網絡layer graph進行的操作:

  1. 消除輸出未使用的層
  2. 消除相當于無操作的操作
  3. 卷積、偏置和ReLU運算的融合
  4. 具有足夠相似參數和相同源張量的運算聚合(例如,GoogleNet v5的初始子產品中的1x1卷積;inception結構中同一個block中有不同感受野的卷積分支,每個分支中開始的1*1卷積操作可以聚合計算後再拆分)
  5. 通過将層輸出定向到正确的最終目的地來合并連接配接層。

對于參數精度的操作:

修改為float16或int8精度,會損失模型的acc。

繼續閱讀