1、functions.linear 與 nn.linear
nn.linear是functions.linear的再一次封裝，需要初始化使用，F.linear不需要，可以直接定義輸入x，與相應權重w直接在forward裡直接使用。例如x(T*C) w(M*C) f.linear(x,w) -> T*M，二nn.linear需要初始化，然後調用l(T,M),w權重自己初始化。
2、PyTorch裡面的torch.nn.Parameter()
可以把這個函數了解為類型轉換函數，将一個不可訓練的類型
Tensor
轉換成可以訓練的類型
parameter
并将這個
parameter
綁定到這個
module
裡面(
net.parameter()
中就有這個綁定的
parameter
，是以在參數優化的時候可以進行優化的)，是以經過類型轉換這個
self.v
變成了模型的一部分，成為了模型中根據訓練可以改動的參數了。使用這個函數的目的也是想讓某些變量在學習的過程中不斷的修改其值以達到最優化。
3、PyTorch torch.optim.lr_scheduler 學習率設定 調參
PyTorch學習率調整政策通過torch.optim.lr_scheduler接口實作。PyTorch提供的學習率調整政策分為三大類，分别是
a. 有序調整：等間隔調整(Step)，按需調整學習率(MultiStep)，指數衰減調整(Exponential)和 餘弦退火CosineAnnealing。
b. 自适應調整：自适應調整學習率 ReduceLROnPlateau。
c. 自定義調整：自定義調整學習率 LambdaLR。
1 等間隔調整學習率 StepLR
等間隔調整學習率，調整倍數為 gamma 倍，調整間隔為 step_size。間隔機關是step。需要注意的是， step 通常是指 epoch，不要弄成 iteration 了。
torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)
參數：
step_size(int)- 學習率下降間隔數，若為 30，則會在 30、 60、 90…個 step 時，将學習率調整為 lr*gamma。
gamma(float)- 學習率調整倍數，預設為 0.1 倍，即下降 10 倍。
last_epoch(int)- 上一個 epoch 數，這個變量用來訓示學習率是否需要調整。當last_epoch 符合設定的間隔時，就會對學習率進行調整。當為-1 時，學習率設定為初始值。
2 按需調整學習率 MultiStepLR
按設定的間隔調整學習率。這個方法适合後期調試使用，觀察 loss 曲線，為每個實驗定制學習率調整時機。
torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)
參數：
milestones(list)- 一個 list，每一個元素代表何時調整學習率， list 元素必須是遞增的。如 milestones=[30,80,120]
gamma(float)- 學習率調整倍數，預設為 0.1 倍，即下降 10 倍。
3 指數衰減調整學習率 ExponentialLR
按指數衰減調整學習率，調整公式: l r = l r ∗ g a m m a ∗ ∗ e p o c h lr = lr * gamma**epochlr=lr∗gamma∗∗epoch
torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)
參數：
gamma- 學習率調整倍數的底，指數為 epoch，即 gamma**epoch
4 餘弦退火調整學習率 CosineAnnealingLR
以餘弦函數為周期，并在每個周期最大值時重新設定學習率。以初始學習率為最大學習率，以 2 ∗ T m a x 2*Tmax2∗Tmax 為周期，在一個周期内先下降，後上升。
torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)
參數：
T_max(int)- 一次學習率周期的疊代次數，即 T_max 個 epoch 之後重新設定學習率。
eta_min(float)- 最國小習率，即在一個周期中，學習率最小會下降到 eta_min，預設值為 0。
5 自适應調整學習率 ReduceLROnPlateau
當某名額不再變化（下降或升高），調整學習率，這是非常實用的學習率調整政策。
例如，當驗證集的 loss 不再下降時，進行學習率調整；或者監測驗證集的 accuracy，當accuracy 不再上升時，則調整學習率。
torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)
參數：
mode(str)- 模式選擇，有 min 和 max 兩種模式， min 表示當名額不再降低(如監測loss)， max 表示當名額不再升高(如監測 accuracy)。
factor(float)- 學習率調整倍數(等同于其它方法的 gamma)，即學習率更新為 lr = lr * factor
patience(int)- 忍受該名額多少個 step 不變化，當忍無可忍時，調整學習率。
verbose(bool)- 是否列印學習率資訊， print(‘Epoch {:5d}: reducing learning rate of group {} to {:.4e}.’.format(epoch, i, new_lr))
threshold_mode(str)- 選擇判斷名額是否達最優的模式，有兩種模式， rel 和 abs。
當 threshold_mode == rel，并且 mode == max 時， dynamic_threshold = best * ( 1 +threshold )；
當 threshold_mode == rel，并且 mode == min 時， dynamic_threshold = best * ( 1 -threshold )；
當 threshold_mode == abs，并且 mode== max 時， dynamic_threshold = best + threshold ；
當 threshold_mode == rel，并且 mode == max 時， dynamic_threshold = best - threshold；
threshold(float)- 配合 threshold_mode 使用。
cooldown(int)- “冷卻時間“，當調整學習率之後，讓學習率調整政策冷靜一下，讓模型再訓練一段時間，再重新開機監測模式。
min_lr(float or list)- 學習率下限，可為 float，或者 list，當有多個參數組時，可用 list 進行設定。
eps(float)- 學習率衰減的最小值，當學習率變化小于 eps 時，則不調整學習率。
6 自定義調整學習率 LambdaLR
為不同參數組設定不同學習率調整政策。調整規則為，
l r = b a s e _ l r ∗ l m b d a ( s e l f . l a s t _ e p o c h ) lr = base\_lr *lmbda(self.last\_epoch)
lr=base_lr∗lmbda(self.last_epoch)
fine-tune 中十分有用，我們不僅可為不同的層設定不同的學習率，還可以為其設定不同的學習率調整政策。
torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)
參數：
lr_lambda(function or list)- 一個計算學習率調整倍數的函數，輸入通常為 step，當有多個參數組時，設為 list。
參考：https://blog.csdn.net/shanglianlm/article/details/85143614
4、nn.ReLU與nn.LeakyReLU的差別
nn.ReLU(inplace=True)的了解:inplace為True，将會改變輸入的資料 ，False否則不會改變原輸入，隻會産生新的輸出。
ReLU函數即小于0的就等于0,大于0的就等于原函數.=max(0,x)=
LeakyReLu的函數為
