機器學習算法與Python實踐 - 知識圖譜

機器學習/人工智能 知識圖譜

可以為自己建立一個機器學習的知識圖譜，并争取掌握每一個經典的機器學習理論和算法，簡單地總結如下：

另一種不同的機器學習整理方式：

機器學習算法分類總結

1）回歸算法：

• 最小二乘法（OrdinaryLeast Square）
• 邏輯回歸（Logistic Regression）

• 逐漸式回歸（Stepwise Regression）

  (縮減方法)

• 多元自适應回歸樣條（MultivariateAdaptive Regression Splines）
• 本地散點平滑估計（Locally Estimated Scatterplot Smoothing）

2）基于執行個體的算法：

• k-Nearest Neighbor(KNN)
• 學習矢量量化（Learning Vector Quantization， LVQ）
• 自組織映射算法（Self-Organizing Map ， SOM）

3）基于正則化方法：

• 嶺回歸（Ridge Regression）L2
• 稀疏限制Least Absolute Shrinkage and Selection Operator（LASSO）L1
• 彈性網絡（Elastic Net）

4）決策樹學習：

• 分類及回歸樹（ClassificationAnd Regression Tree， CART）
• ID3 (Iterative Dichotomiser 3)
• C4.5
• Chi-squared Automatic Interaction Detection(CHAID)
• Decision Stump
• 随機森林（Random Forest）
• 多元自适應回歸樣條（MARS）
• 梯度推進機（Gradient Boosting Machine， GBM）

5）基于貝葉斯方法：

• 樸素貝葉斯算法
• 平均單依賴估計（AveragedOne-Dependence Estimators， AODE）
• Bayesian Belief Network（BBN）

6）基于核的算法：

• 支援向量機（SupportVector Machine， SVM）
• 徑向基函數（Radial Basis Function ，RBF)
• 線性判别分析（Linear Discriminate Analysis ，LDA)

7）聚類算法：

• k-Means算法
• 期望最大化算法（Expectation Maximization， EM）

8）基于關聯規則學習：

• Apriori算法
• Eclat算法

9）人工神經網絡：

• 感覺器神經網絡（PerceptronNeural Network）
• 反向傳遞（Back Propagation）
• Hopfield網絡
• 自組織映射（Self-OrganizingMap, SOM）
• 學習矢量量化（Learning Vector Quantization， LVQ）；

10）深度學習：

• 受限波爾茲曼機（RestrictedBoltzmann Machine， RBN）
• Deep Belief Networks（DBN）
• 卷積網絡（Convolutional Network）
• 堆棧式自動編碼器（Stacked Auto-encoders）

11）降低次元的算法：

• 主成份分析（PrincipleComponent Analysis， PCA）
• 偏最小二乘回歸（Partial Least Square Regression，PLS）
• Sammon映射
• 多元尺度（Multi-Dimensional Scaling, MDS）
• 投影追蹤（ProjectionPursuit）

12）內建算法：

• Boosting
• Bootstrapped Aggregation（Bagging）
• AdaBoost
• 堆疊泛化（Stacked Generalization， Blending）
• 梯度推進機（GradientBoosting Machine, GBM）
• 随機森林（Random Forest）

後續将持續更新機器學習算法及其Python實踐代碼，與大家一起學習探讨。