PyTorch之Variable的detach和detach_

本文源自：https://blog.csdn.net/u012436149/article/details/76714349

這裡加入自己的一點實踐。

pytorch 的 Variable 對象中有兩個方法，detach和 detach_ 本文主要介紹這兩個方法的效果和 能用這兩個方法幹什麼。

detach

官方文檔中，對這個方法是這麼介紹的。

• 傳回一個新的 從目前圖中分離的 Variable。
• 傳回的 Variable 永遠不會需要梯度
• 如果 被 detach 的Variable volatile=True， 那麼 detach 出來的 Variable volatile 也為 True
• 還有一個注意事項，即：傳回的 Variable 和 被 detach 的Variable 指向同一個 tensor

import torch
from torch.nn import init
from torch.autograd import Variable
t1 = torch.FloatTensor([1., 2.])
v1 = Variable(t1)
t2 = torch.FloatTensor([2., 3.])
v2 = Variable(t2)
v3 = v1 + v2
v3_detached = v3.detach()
v3_detached.data.add_(t1) # 修改了 v3_detached Variable中 tensor 的值
print(v3, v3_detached)    # v3 中tensor 的值也會改變
           

# detach 的源碼
def detach(self):
    result = NoGrad()(self)  # this is needed, because it merges version counters
    result._grad_fn = None
    return result
           

detach_

官網給的解釋是：将 Variable 從建立它的 graph 中分離，把它作為葉子節點。

從源碼中也可以看出這一點

• 将 Variable 的grad_fn 設定為 None，這樣，BP 的時候，到這個 Variable 就找不到 它的 grad_fn，是以就不會再往後BP了。
• 将 requires_grad 設定為 False。這個感覺大可不必，但是既然源碼中這麼寫了，如果有需要梯度的話可以再手動 将 requires_grad 設定為 true
• 還有一點：加下劃線的會改變變量本身。

# detach_ 的源碼
def detach_(self):
    """Detaches the Variable from the graph that created it, making it a
    leaf.
    """
    self._grad_fn = None
    self.requires_grad = False
           

• 能來幹啥

如果我們有兩個網絡 A,B, 兩個關系是這樣的 y=A(x),z=B(y)。 現在我們想用 z.backward()來為 B 網絡的參數求梯度，但是又不想求 A 網絡參數的梯度。我們可以這樣：

# y=A(x), z=B(y) 求B中參數的梯度，不求A中參數的梯度
# 第一種方法
y = A(x)
z = B(y.detach())
z.backward()

# 第二種方法
y = A(x)
y.detach_()
z = B(y)
z.backward()
           

在這種情況下，

detach 和 detach_

 都可以用。但是如果 你也想用 y 來對 A進行 BP 呢？那就隻能用第一種方法了。因為 第二種方法 已經将 A 模型的輸出 給 detach（分離）了。

自己的實踐：

detach()方法可以用在GAN中，對判别器的參數求梯度而對生成器的參數不求梯度。例如：

def backward_D(self):
        # Fake
        # stop backprop to the generator by detaching fake_B
        if self.iscGAN:
            fake_AB = self.fake_AB_pool.query(torch.cat((self.real_A, self.fake_B), 1).data)
        else:
            fake_AB = self.fake_AB_pool.query(self.fake_B.data)
        pred_fake = self.netD(fake_AB.detach())# stop BP to G
        self.loss_D_fake = self.criterionGAN(pred_fake, False)