天天看點

學習日志---樹回歸(回歸樹,模型樹)

CART算法的樹回歸:

傳回的每個節點最後是一個最終确定的平均值。

結果:

{'spInd': 1, 'spVal': matrix(` 0`.`39435`), 'right': {'spInd': 1, 'spVal': matrix(` 0`.`197834`), 'right': -0.023838155555555553, 'left': 1.0289583666666666}, 'left': {'spInd': 1, 'spVal': matrix(` 0`.`582002`), 'right': 1.980035071428571, 'left': {'spInd': 1, 'spVal': matrix(` 0`.`797583`), 'right': 2.9836209534883724, 'left': 3.9871631999999999}}}

結果的意思是:第幾個特征,以多大作為特征值分開,分成左右,依次分下去。

這個算法很好,但是對資料的分類太過于高,容易造成過拟合。是以要采用剪枝技術。

通過降低決策樹的複雜度來避免過拟合的過程稱為剪枝。

一般來說都是預剪枝和後剪枝合并使用

模型樹

每個節點是一個線性模型

其他基本一樣:

模型樹回歸很好,而且可以用作預測

繼續閱讀