天天看点

L2正则为什么能保证控制过拟合

著作权归作者所有。

商业转载请联系作者获得授权,非商业转载请注明出处。

作者:石国瑞

链接:http://www.zhihu.com/question/20178589/answer/55440780

来源:知乎

L2正则为什么能保证控制过拟合。这里面就有个哲学思想,叫做奥卡姆剃刀法则,简单来说这个想法就是“能简单说的话,不要复杂的说”。L2正则项就能代表模型的复杂度,根据奥卡姆,如果同样效果那么越简单的模型泛化效果越好。所以最优化过程中尽量追求小的L2的值就会提高泛化能力,也就抑制了过拟合的问题