10本電子書放文末，自取~
1、分類問題的交叉熵是什麼？
分類問題的交叉熵（cross-entropy）是一種用來衡量分類模型輸出與真實标簽之間差異的名額。在二分類問題中，交叉熵可以表示為以下公式：
其中，p 表示真實标簽，q 表示模型預測的标簽，N 表示樣本數量。該公式可以看作是一個基于機率分布的比較方式，即将真實标簽看做一個機率分布，将模型預測的标簽也看做一個機率分布，然後計算它們之間的交叉熵。
2、分類問題是否可以用MSE？
分類問題通常不能使用均方誤差（MSE）作為損失函數，因為分類問題中的标簽通常是離散的，而 MSE 适用于連續變量的回歸問題。當使用 MSE 作為損失函數時，模型的輸出可能會超過 1 或小于 0，這是因為 MSE 的計算方式不适用于機率值的範圍。在分類問題中，常用的損失函數包括交叉熵、對數損失函數等。
3、推薦系統中，相比于餘弦相似度，是否可以用歐幾裡得距離判斷相似度？
在推薦系統中，通常使用餘弦相似度來度量使用者或物品之間的相似度。因為餘弦相似度考慮的是向量之間的夾角，而不是向量的長度，是以它對于不同大小的向量比較穩健。而歐幾裡得距離則是考慮向量之間的長度，是以對于不同大小的向量比較敏感。在推薦系統中，通常物品或使用者的特征向量長度不同，是以歐幾裡得距離不适用于推薦系統中的相似度度量。
4、過拟合怎麼處理？
過拟合是指模型在訓練集上表現良好，但在測試集上表現較差的現象。過拟合的原因通常是模型過于複雜，參數過多，導緻模型在訓練集上過度拟合。常見的處理方法包括以下幾種：
- 增加資料量：通過增加訓練資料來降低模型對于訓練集的過度拟合。
- 簡化模型：減少模型的參數量，簡化模型的結構，降低模型的複雜度。
- 正則化：
- 正則化：通過在損失函數中添加正則化項，限制模型參數的大小，進而避免模型過度拟合。常見的正則化方法包括 L1 正則化和 L2 正則化。
- 提前停止訓練：通過監控模型在驗證集上的表現，當模型在驗證集上的表現不再提升時，提前停止訓練，避免模型在訓練集上過度拟合。
5、L1、L2正則化的效果、差別、原理？
L1 正則化和 L2 正則化都是正則化方法，目的是通過限制模型參數的大小，降低模型的複雜度，防止過拟合。L1 正則化會使一部分參數變為 0，進而實作特征選擇的效果，适合處理稀疏資料。L2 正則化則會讓所有參數都趨向于較小的值，但不會使參數為 0。
L1 正則化的損失函數可以表示為：
其中，L(w) 是模型在訓練集上的損失函數，w_i 是模型的第 i 個參數，\alpha 是正則化強度的超參數。
L2 正則化的損失函數可以表示為：
其中，L(w)、w_i 和 \alpha 的含義與 L1 正則化相同。
6、Dropout的原理、在訓練和測試時的差別？
Dropout 是一種常用的正則化方法，其原理是在每次疊代中随機将一部分神經元的輸出置為 0，進而減少神經元之間的共适應性，防止過拟合。
在訓練時，Dropout 會随機将一定比例的神經元的輸出置為 0，進而産生多個不同的子網絡，每個子網絡都隻學習了部分資訊，強制使網絡更加魯棒。在測試時，為了保持網絡的穩定性，Dropout 通常被關閉，而是使用訓練時每個子網絡的權重平均作為最終的預測結果。
7、SGD、Adam、動量優化的SGD？
SGD（Stochastic Gradient Descent）是一種基本的梯度下降算法，它使用單個樣本的梯度來更新模型參數，進而實作對損失函數的最小化。SGD 的缺點是可能會陷入局部最優解，并且收斂速度較慢。
動量優化的 SGD（Momentum SGD）是在 SGD 的基礎上引入了動量的一種優化算法。動量可以看作是給梯度增加一個慣性項，使得在更新參數時，目前的梯度不僅考慮目前時刻的梯度，還會考慮之前的梯度資訊，進而使得更新方向更加平穩，收斂速度更快。
Adam 是一種基于梯度的優化算法，結合了 RMSProp 和動量優化的思想。Adam 通過維護一個梯度的指數權重移動平均和梯度平方的指數權重移動平均來自适應地調整每個參數的學習率，進而實作快速的收斂。
8、Adam和動量優化的SGD效率上的差別？
相對于動量優化的 SGD，Adam 有以下幾個優點：
- 自适應性：Adam 能夠自适應地調整每個參數的學習率，進而使得模型在不同的參數空間下能夠更加快速地收斂。
- 速度快：Adam 在訓練過程中能夠快速地找到最優解，是以通常能夠在較少的疊代次數内達到更好的性能。
- 可靠性高：Adam 對超參數的選擇不太敏感，是以更容易調整到最優參數。
但是，Adam 也有一些缺點。例如，Adam 對于噪聲較大的梯度可能會表現不穩定，并且在處理非凸問題時可能會出現性能下降的情況。
9、推薦系統中，如何進行負采樣？
在推薦系統中，負采樣是一種重要的技術，用于構造負樣本，以便訓練推薦模型。一般而言，推薦系統的正樣本很少，負樣本很多，是以負采樣可以大大加快訓練的速度和提高模型的準确率。
負采樣的過程通常可以分為以下幾個步驟：
- 計算每個物品的權重：對于每個物品，根據其流行度或其他相關因素計算其權重，權重越高的物品越容易被采樣為負樣本。
- 根據權重進行采樣：根據每個物品的權重進行随機采樣，以得到一定數量的負樣本。采樣的過程通常可以使用一些機率分布，如指數分布或幂律分布等。
- 去除已有的正樣本：從采樣得到的負樣本中去除已有的正樣本，以確定訓練集中不會出現重複樣本。
- 控制負采樣比例：為了保持正負樣本之間的平衡，通常需要控制負采樣的比例，即每個正樣本對應的負樣本數量。
- 對于多個使用者和物品的推薦問題，可以通過對每個使用者和物品分别進行采樣來生成一定數量的正負樣本對。
看完本篇如果對你有用請三連，你的支援是我持續輸出的動力，感謝，筆芯~
↓ ↓ ↓以下10本書電子版免費領，直接送 ，想要哪本私我下說聲，我發你↓ ↓ ↓
以上8本+《2022年Q3最新大廠面試題》+《2022年Q4最新大廠面試題》電子書，部分截圖如下：