pytorch的梯度反向传播 detach backward

一、梯度的传播反向传播什么时候停止

• 1.为叶子节点时【反向时前面没有与之相连的节点】

常见的叶子节点【输入】

• 2.该节点唯一相连的节点的require_grads=False

  

• 3.该节点唯一相连的节点使用detach函数时

该方法常用于GAN网络生成器的输出使用detach时，pytorch不对生成器进行梯度计算，叶子节点为判别器的首个参数

二、 detach梯度分离的使用

https://www.jb51.net/article/181631.htm

三、 详解backward()

https://www.jb51.net/article/178158.htm