英偉達GPU及架構

英偉達

GTX 1080TI Pascal™ 結構

T4卡  基于Turing架構

P4卡  Pascal™ 結構

V100 基于Volta架構

在某一個架構上進行序列化, 就應該在這個架構上測試, 否則會報錯

tensorRT:NVIDIA TensorRT是一種高性能神經網絡推理(Inference)引擎，用于在生産環境中部署深度學習應用程式，應用有圖像分類、分割和目标檢測等，可提供最大的推理吞吐量和效率。TensorRT是第一款可程式設計推理加速器，能加速現有和未來的網絡架構。TensorRT需要CUDA, libnvinfer的支援

cudnn/libnvinfer

cuda8/9/10

參考:https://www.zhihu.com/question/60161133

https://blog.csdn.net/fengbingchun/article/details/78469551