PyTorch中“CUDA out of memory”的調試筆記

1 問題描述

“RuntimeError: CUDA out of memory.”是PyTorch寫作中常見的一種運作錯誤，這裡我們将記錄一下調試過程中發現的一些解決方案；

2 解決方案

2.1 模型較大——可以降低batch_size

一種常見的原因就是模型的參數量較多，此時降低batch_size是一種可行的方法

2.2 讀取loss值時沒有使用item()函數

這是我之前在寫作中出現的一個錯誤，我需要使用loss值作為訓練過程時的輸出，不過在取的張量的值之後，沒有隻用item()函數，而是直接用int-tensor參與後面的運算，導緻顯存洩露；