tensorflow筆記（二）：滑動平均模型的了解

滑動平均記錄了每個參數一段時間内過程值的平均，可以增加模型的泛化性。

影子變量shadow在t時刻記為

，

為變量shadow在t時刻的取值，在不使用滑動平均法時

上式中，

。并且

=min{MOVING_AVERAGE_DECAY,(1+輪數)/(10+輪數)}，MOVING_AVERAGE_DECAY是基礎值。

不使用滑動平均	使用滑動平均	global step
0.0	0.0
1.0	0.9
10.0	1.6445453	100
10.0	2.3281732	100
10.0	2.955868	100
10.0	3.532206	100
10.0	4.061389	100
10.0	4.547275	100
10.0	4.9934072	100

上述表格是MOVING_AVERAGE_DECAY=0.99時影子值跟随情況。

通過影子值變化的情況可以看出來，影子值能更好的應對訓練過程中參數的突變情況，使參數變化更為平緩。