SVM與RVM對比

Sparse Kernel Machine（基于核的具有稀疏解的算法）有兩種，一種是Support Vector Machine（支援向量機）即SVM，另一種是Relevance Vector Machine（相關向量機）即RVM。

SVM與RVM的共同特點就是具有稀疏解，進而在對新資料進行預測時隻依賴于在訓練資料中的一個子集上計算的核函數，這個子集對于SVM來說就是Support Vector（支援向量），而對于RVM來說就是Relevance Vector（相關向量）。

SVM的重要性質是它的模型參數的确定對應一個凸優化的問題，是以許多局部解就是全局最優解。但SVM不提供後驗機率，而RVM的重要性質就是，RVM引入了貝葉斯方法，提供後驗機率的輸出，并且常常能産生更稀疏的解（在測試集上預測時速度更快）。SVM常常需要用交叉驗證的方法确定模型複雜度參數C，而對于RVM來說，引入貝葉斯方法的另一個好處就是，省去了模型選擇這一步。但RVM由于求矩陣的逆的運算，常常需要更多的訓練時間。