day2021_9_27

今日内容

範數

• L0範數：||X||0=X i，即向量X中非零的個數

  如：X=(1，2，-1，4，6)^T，則||X||0=4

• L1範數： ||X||1，即向量x與0的曼哈頓距離，

  X=（1，2，-1，0，4，6）^T ，||X||1=1+2+1+4+6=14

  可以得到稀疏解

• L2範數：||X||2，X與0之間的歐式範數

  X=(1，2，-1，4，6)T，||**X**||2=(12+22+(-1)2+42+62)^(1/2)

• LP範數：将L2範數中的2改成P
• 在計算損失函數中加入範數的作用：

• 使曲線更加平滑，防止過拟合
• L2可以使曲線更平滑，L1可以減少一些w值，使得特征更明顯。

正則化

• 控制模型的複雜度，防止過拟合

過濾式選擇

• 先對資料進行特征選擇，再訓練學習器：

• 對于一個特征j：對每個樣本例xi，找到跟它最近的同類和異類樣本，假設距離為nh和nm，

  用nm的平方減去nh的平方，并累加所有的樣本i，計算得到的值d越大，則特征j的分類效果越好，于是增大學習器中j的分量。最後對所有屬性如此，分量值越大的分類效果越佳。

包裹式選擇

• 為給定學習器選擇最有利于其性能、“量身定做”的特征子集。

• 随即産生一個特征子集A'，然後在這個特征子集上考慮資料集D的誤差，如果誤差比之前的特征子集小，或者誤差差不多，但是A'包含的特征數更少，就将A'保留下來，直到到達停止條件了，得到學習器的“量身定做”的特征子集。

字典學習

• 要将備援的無關緊要的資訊除去，将最重要的、本質的資訊得以保留。也正因如此，是以“字典”的衡量标準也就産生了。字典建立的好不好，就要看它這個模型夠不夠稀疏。
• 稀不稀疏，就是說提取的特征是不是夠關鍵，是不是夠本質。

今日問題

• 沒有太多的新問題，主要還是公式方面的了解不是很充分，已經有記錄下來，EM算法，拉格朗日乘子法中對偶函數的使用場景，梯度下降以及牛頓法，這些等到最後将西瓜書簡單過過，再深層地去查閱一下。

明日計劃

• 明天白天主要是上課，晚上對這一周的所學做個簡要回顧，制作ppt。