在機器學習領域，有種說法叫做“世上沒有免費的午餐”，簡而言之，它是指沒有任何一種算法能在每個問題上都能有最好的效果，這個理論在監督學習方面展現得尤為重要。
舉個例子來說，你不能說神經網絡永遠比決策樹好，反之亦然。模型運作被許多因素左右，例如資料集的大小和結構。
是以，你應該根據你的問題嘗試許多不同的算法，同時使用資料測試集來評估性能并選出最優項。
當然，你嘗試的算法必須和你的問題相切合，其中的門道便是機器學習的主要任務。打個比方，如果你想打掃房子，你可能會用到吸塵器、掃帚或者拖把，但你肯定不會拿把鏟子開始挖坑吧。
對于渴望了解機器學習基礎知識的機器學習新人來說，這兒有份資料科學家使用的十大機器學習算法，為你介紹這十大算法的特性，便于大家更好地了解和應用，快來看看吧。
01 線性回歸
線性回歸可能是統計學和機器學習中最知名和最易了解的算法之一。
由于預測模組化主要關注最小化模型的誤差，或者以可解釋性為代價來做出最準确的預測。 我們會從許多不同領域借用、重用和盜用算法，其中涉及一些統計學知識。
線性回歸用一個等式表示，通過找到輸入變量的特定權重（B），來描述輸入變量（x）與輸出變量（y）之間的線性關系。
Linear Regression
舉例：y = B0 + B1 * x
給定輸入x，我們将預測y，線性回歸學習算法的目标是找到系數B0和B1的值。
可以使用不同的技術從資料中學習線性回歸模型，例如用于普通最小二乘和梯度下降優化的線性代數解。
線性回歸已經存在了200多年，并且已經進行了廣泛的研究。 如果可能的話，使用這種技術時的一些經驗法則是去除非常相似（相關）的變量并從資料中移除噪聲。 這是一種快速簡單的技術和良好的第一種算法。
02 邏輯回歸
邏輯回歸是機器學習從統計領域借鑒的另一種技術。 這是二分類問題的專用方法（兩個類值的問題）。
邏輯回歸與線性回歸類似，這是因為兩者的目标都是找出每個輸入變量的權重值。 與線性回歸不同的是，輸出的預測值得使用稱為邏輯函數的非線性函數進行變換。
邏輯函數看起來像一個大S，并能将任何值轉換為0到1的範圍内。這很有用，因為我們可以将相應規則應用于邏輯函數的輸出上，把值分類為0和1（例如，如果IF小于0.5，那麼 輸出1）并預測類别值。
Logistic Regression
由于模型的特有學習方式，通過邏輯回歸所做的預測也可以用于計算屬于類0或類1的機率。這對于需要給出許多基本原理的問題十分有用。
與線性回歸一樣，當你移除與輸出變量無關的屬性以及彼此非常相似（相關）的屬性時，邏輯回歸确實會更好。 這是一個快速學習和有效處理二進制分類問題的模型。
03 線性判别分析
傳統的邏輯回歸僅限于二分類問題。 如果你有兩個以上的類，那麼線性判别分析算法（Linear Discriminant Analysis，簡稱LDA）是首選的線性分類技術。
LDA的表示非常簡單。 它由你的資料的統計屬性組成，根據每個類别進行計算。 對于單個輸入變量，這包括：
- 每類的平均值。
- 跨所有類别計算的方差。
Linear Discriminant Analysis
LDA通過計算每個類的判别值并對具有最大值的類進行預測來進行。該技術假定資料具有高斯分布（鐘形曲線），是以最好先手動從資料中移除異常值。這是分類預測模組化問題中的一種簡單而強大的方法。
04 分類和回歸樹
決策樹是機器學習的一種重要算法。決策樹模型可用二叉樹表示。對，就是來自算法和資料結構的二叉樹，沒什麼特别。 每個節點代表單個輸入變量（x）和該變量上的左右孩子（假定變量是數字）。
Decision Tree
樹的葉節點包含用于進行預測的輸出變量（y）。 預測是通過周遊樹進行的，當達到某一葉節點時停止，并輸出該葉節點的類值。
決策樹學習速度快，預測速度快。 對于許多問題也經常預測準确，并且你不需要為資料做任何特殊準備。
05 樸素貝葉斯
樸素貝葉斯是一種簡單但極為強大的預測模組化算法。該模型由兩種類型的機率組成，可以直接從你的訓練資料中計算出來：1）每個類别的機率; 2）給定的每個x值的類别的條件機率。 一旦計算出來，機率模型就可以用于使用貝葉斯定理對新資料進行預測。 當你的資料是數值時，通常假設高斯分布（鐘形曲線），以便可以輕松估計這些機率。
Bayes Theorem
樸素貝葉斯被稱為樸素的原因，在于它假設每個輸入變量是獨立的。 這是一個強硬的假設，對于真實資料來說是不切實際的，但該技術對于大範圍内的複雜問題仍非常有效。
06 K近鄰
KNN算法非常簡單而且非常有效。KNN的模型用整個訓練資料集表示。 是不是特簡單？
通過搜尋整個訓練集内K個最相似的執行個體（鄰居），并對這些K個執行個體的輸出變量進行彙總，來預測新的資料點。 對于回歸問題，新的點可能是平均輸出變量，對于分類問題，新的點可能是衆數類别值。
成功的訣竅在于如何确定資料執行個體之間的相似性。如果你的屬性都是相同的比例，最簡單的方法就是使用歐幾裡德距離，它可以根據每個輸入變量之間的差直接計算。
K-Nearest Neighbors
KNN可能需要大量的記憶體或空間來存儲所有的資料，但隻有在需要預測時才會執行計算（或學習）。 你還可以随時更新和管理你的訓練集，以保持預測的準确性。
距離或緊密度的概念可能會在高維環境（大量輸入變量）下崩潰，這會對算法造成負面影響。這類事件被稱為次元詛咒。它也暗示了你應該隻使用那些與預測輸出變量最相關的輸入變量。
07 學習矢量量化
K-近鄰的缺點是你需要維持整個訓練資料集。 學習矢量量化算法（或簡稱LVQ）是一種人工神經網絡算法，允許你挂起任意個訓練執行個體并準确學習他們。
Learning Vector Quantization
LVQ用codebook向量的集合表示。開始時随機選擇向量，然後多次疊代，适應訓練資料集。 在學習之後，codebook向量可以像K-近鄰那樣用來預測。 通過計算每個codebook向量與新資料執行個體之間的距離來找到最相似的鄰居（最佳比對），然後傳回最佳比對單元的類别值或在回歸情況下的實際值作為預測。 如果你把資料限制在相同範圍（如0到1之間），則可以獲得最佳結果。
如果你發現KNN在您的資料集上給出了很好的結果，請嘗試使用LVQ來減少存儲整個訓練資料集的記憶體要求。
08 支援向量機
支援向量機也許是最受歡迎和讨論的機器學習算法之一。超平面是分割輸入變量空間的線。 在SVM中，會選出一個超平面以将輸入變量空間中的點按其類别（0類或1類）進行分離。在二維空間中可以将其視為一條線，所有的輸入點都可以被這條線完全分開。SVM學習算法就是要找到能讓超平面對類别有最佳分離的系數。
Support Vector Machine
超平面和最近的資料點之間的距離被稱為邊界，有最大邊界的超平面是最佳之選。同時，隻有這些離得近的資料點才和超平面的定義和分類器的構造有關，這些點被稱為支援向量，他們支援或定義超平面。在具體實踐中，我們會用到優化算法來找到能最大化邊界的系數值。
SVM可能是最強大的即用分類器之一，在你的資料集上值得一試。
09 bagging和随機森林
随機森林是最流行和最強大的機器學習算法之一。 它是一種被稱為Bootstrap Aggregation或Bagging的內建機器學習算法。
bootstrap是一種強大的統計方法，用于從資料樣本中估計某一數量，例如平均值。 它會抽取大量樣本資料，計算平均值，然後平均所有平均值，以便更準确地估算真實平均值。
在bagging中用到了相同的方法，但最常用到的是決策樹，而不是估計整個統計模型。它會訓練資料進行多重抽樣，然後為每個資料樣本構模組化型。當你需要對新資料進行預測時，每個模型都會進行預測，并對預測結果進行平均，以更好地估計真實的輸出值。
Random Forest
随機森林是對決策樹的一種調整，相對于選擇最佳分割點，随機森林通過引入随機性來實作次優分割。
是以，為每個資料樣本建立的模型之間的差異性會更大，但就自身意義來說依然準确無誤。結合預測結果可以更好地估計正确的潛在輸出值。
如果你使用高方差算法（如決策樹）獲得良好結果，那麼加上這個算法後效果會更好。
10 Boosting和AdaBoost
Boosting是一種從一些弱分類器中建立一個強分類器的內建技術。 它先由訓練資料建構一個模型，然後建立第二個模型來嘗試糾正第一個模型的錯誤。 不斷添加模型，直到訓練集完美預測或已經添加到數量上限。
AdaBoost是為二分類開發的第一個真正成功的Boosting算法，同時也是了解Boosting的最佳起點。 目前基于AdaBoost而建構的算法中最著名的就是随機梯度boosting。
AdaBoost
AdaBoost常與短決策樹一起使用。 在建立第一棵樹之後，每個訓練執行個體在樹上的性能都決定了下一棵樹需要在這個訓練執行個體上投入多少關注。難以預測的訓練資料會被賦予更多的權重，而易于預測的執行個體被賦予更少的權重。 模型按順序依次建立，每個模型的更新都會影響序列中下一棵樹的學習效果。在建完所有樹之後，算法對新資料進行預測，并且通過訓練資料的準确程度來權重每棵樹的性能。
因為算法極為注重錯誤糾正，是以一個沒有異常值的整潔資料十分重要。
初學者在面對各種各樣的機器學習算法時提出的一個典型問題是“我應該使用哪種算法？”問題的答案取決于許多因素，其中包括：
- 資料的大小，品質和性質;
- 可用的計算時間;
- 任務的緊迫性;
- 你想要對資料做什麼。
即使是一位經驗豐富的資料科學家，在嘗試不同的算法之前，也無法知道哪種算法會表現最好。 雖然還有很多其他的機器學習算法，但這些算法是最受歡迎的算法。 如果你是機器學習的新手，這是一個很好的學習起點。
源作者：james_aka_yale
源連結：https://medium.com/