【NAS工具箱】Pytorch中的Buffer&Parameter

Parameter ： 模型中的一種可以被反向傳播更新的參數。

第一種：

直接通過成員變量nn.Parameter()進行建立，會自動注冊到parameter中。

或者：

通過nn.Parameter() 建立普通對象

通過register_parameter()進行注冊

可以通過model.parameters()傳回

Buffer : 模型中不能被反向傳播算法更新的參數。

建立tensor

将tensor通過register_buffer進行注冊

可以通過model.buffers()傳回

總結：

模型參數=parameter+buffer; optimizer隻能更新parameter，不能更新buffer，buffer隻能通過forward進行更新。

模型儲存的參數 model.state_dict() 傳回一個OrderDict

代碼改變世界