大規模計算的政策

大資料處理政策

有時候資料不能一次性加載到記憶體中(因為記憶體不足), 一般的方法就不能用了.

這個時候的政策可以是增量學習(線上學習):小批量的資料逐漸學習, 每次隻有一小部分資料是在記憶體中的

scikit-learn中不同任務的增量估計器清單:

分類:

sklearn.naive_bayes.MultinomialNB

sklearn.naive_bayes.BernoulliNB

sklearn.linear_model.Perceptron

sklearn.linear_model.SGDClassifier

sklearn.linear_model.PassiveAggressiveClassifier

回歸:

sklearn.linear_model.SGDRegressor

sklearn.linear_model.PassiveAggressiveRegressor

示例