大规模计算的策略

大数据处理策略

有时候数据不能一次性加载到内存中(因为内存不足), 一般的方法就不能用了.

这个时候的策略可以是增量学习(在线学习):小批量的数据逐渐学习, 每次只有一小部分数据是在内存中的

scikit-learn中不同任务的增量估计器列表:

分类:

sklearn.naive_bayes.MultinomialNB

sklearn.naive_bayes.BernoulliNB

sklearn.linear_model.Perceptron

sklearn.linear_model.SGDClassifier

sklearn.linear_model.PassiveAggressiveClassifier

回归:

sklearn.linear_model.SGDRegressor

sklearn.linear_model.PassiveAggressiveRegressor

示例