Pytorch動态調整學習率

poly學習政策

當power＜0，呈現為凸函數，随着epoch增加，學習率下降速率由慢變快

當power >1，呈現為凹函數，随着epoch增加，學習率下降速率由快變慢

def adjust_lr_poly(optimizer, epoch, num_epochs, base_lr, power=0.9)
    lr = base_lr * (1-epoch/num_epochs)**power
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr
    return lr