pytorch的梯度反向傳播 detach backward

一、梯度的傳播反向傳播什麼時候停止

• 1.為葉子節點時【反向時前面沒有與之相連的節點】

常見的葉子節點【輸入】

• 2.該節點唯一相連的節點的require_grads=False

  

• 3.該節點唯一相連的節點使用detach函數時

該方法常用于GAN網絡生成器的輸出使用detach時，pytorch不對生成器進行梯度計算，葉子節點為判别器的首個參數

二、 detach梯度分離的使用

https://www.jb51.net/article/181631.htm

三、 詳解backward()

https://www.jb51.net/article/178158.htm