No Free Lunch 定理

我们不可能找到一个prediction model对所有数据都work。在训练集特别work的，在其他集肯定特别不work，所以平均起来，所有model的prediction rate都是一样。

“[...] all algorithms that search for an extremum of a cost function perform exactly the same, when averaged over all possible cost functions."  (Wolpert and Macready, 1995)”