作者：Joe.Zhao
連結：https://zhuanlan.zhihu.com/p/83971195
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。
CUDA與cuDNN
0.9672018.10.18 13:27:34字數 969閱讀 36798
1、什麼是CUDA
CUDA(ComputeUnified Device Architecture)，是顯示卡廠商NVIDIA推出的運算平台。 CUDA是一種由NVIDIA推出的通用并行計算架構，該架構使GPU能夠解決複雜的計算問題。
2、什麼是CUDNN
NVIDIA cuDNN是用于深度神經網絡的GPU加速庫。它強調性能、易用性和低記憶體開銷。NVIDIA cuDNN可以內建到更進階别的機器學習架構中，如谷歌的Tensorflow、加州大學伯克利分校的流行caffe軟體。簡單的插入式設計可以讓開發人員專注于設計和實作神經網絡模型，而不是簡單調整性能，同時還可以在GPU上實作高性能現代并行計算。
3、CUDA與CUDNN的關系
CUDA看作是一個工作台，上面配有很多工具，如錘子、螺絲刀等。cuDNN是基于CUDA的深度學習GPU加速庫，有了它才能在GPU上完成深度學習的計算。它就相當于工作的工具，比如它就是個扳手。但是CUDA這個工作台買來的時候，并沒有送扳手。想要在CUDA上運作深度神經網絡，就要安裝cuDNN，就像你想要擰個螺帽就要把扳手買回來。這樣才能使GPU進行深度神經網絡的工作，工作速度相較CPU快很多。
4、CUDNN不會對CUDA造成影響
官方Linux安裝指南表述：
從官方安裝指南可以看出，隻要把cuDNN檔案複制到CUDA的對應檔案夾裡就可以，即是所謂插入式設計，把cuDNN資料庫添加CUDA裡，cuDNN是CUDA的擴充計算庫，不會對CUDA造成其他影響。
cuDNN的安裝檔案有兩個檔案夾，共五個檔案，如下
cudnn.h是調用加速庫的檔案，*.os是
CUDA平台裡對應檔案夾的檔案，如下
可以看到，CUDA已有的檔案與cuDNN沒有相同的檔案，複制CUDNN的檔案後，CUDA裡的檔案并不會被覆寫，CUDA其他檔案并不會受影響。