每天分鐘機器學習：梯度下降的學習率太大或者太小會發生什麼？
梯度下降算法是一種常用的優化算法，用于在機器學習和深度學習中更新模型參數。在使用梯度下降算法時，學習率是一個非常重要的參數，它決定了每次更新參數的大小。學習率太大或太小都會影響梯度下降算法的收斂速度和效果。
學習率太大會導緻算法不收斂
當學習率過大時，每次更新參數的步長會很大，可能會導緻算法無法收斂。這是因為在梯度下降算法中，每次更新參數都是在目前位置沿着梯度方向走一定的步長，如果步長太大，就可能會跳過最優點，甚至越過谷底，導緻算法不收斂。此外，學習率太大還可能會導緻算法震蕩，即在最優點附近來回波動，無法收斂到最優點。
學習率太小會導緻算法收斂速度慢
當學習率過小時，每次更新參數的步長會很小，可能會導緻算法收斂速度變慢。這是因為在梯度下降算法中，每次更新參數的步長與學習率成正比，如果學習率太小，每次更新參數的步長就會很小，需要很多次疊代才能到達最優點。此外，學習率太小還可能會導緻算法陷入局部最優點，無法收斂到全局最優點。
