作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_csdn博客
本文网址：javascript:void(0)/article/details/120590079
目录
第1章 学习率在机器学习模型中的位置
第2章 什么是超参数
2.1 超参数的定义
2.2 超参数的特性：
2.3 常见的超参数
第3章 什么是学习率
3.1 学习率的作用
3.2 什么是学习率
第4章 学习率对模型训练的影响
4.1 学习率的作用
4.2 学习率:分类方法1：静态与动态
4.3 学习率分类方法2：动态变化的方式
学习率在上述模型中，属于3-3模型训练的一部分，是模型训练中的超参数。
超参数是相对于神经网络模型中网络模型参数w, b而言的。
超参数本身不是神经网络的构成部分，但他们是训练神经网络时，由程序员可控的、可调整的模型训练的参数。
在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。如学习率就是一个超参数。
定义关于模型的更高层次的概念，如复杂性或学习能力。
不能直接从标准模型培训过程中的数据中学习，需要预先定义。
可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定
树的数量或树的深度
矩阵分解中潜在因素的数量
学习率（多种模式）
深层神经网络隐藏层数
k均值聚类中的簇数
梯度下降法的迭代步长，主要取决于函数在某一点处的导数。
（1）函数在任意一点的导数（梯度），是由函数本身确定的，无法修改，为了能够调整迭代的步长，这就需要引入了新的参数控制迭代的步长。
（2）另一方面，函数的导数，有可能非常大，如果直接使用原始的梯度（导数）作为迭代的步长，这个步长可能非常大，到大是迭代无法收敛，这就需要引入了新的参数控制迭代的步长。
基于上述的两个原因，引入了学习率。
运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率α。
学习率的作用是控制迭代的步长。
（1）静态学习率：学习率有程序员设定初始值，在训练的过程中不需要修改。
（2）动态学习率：在训练模型的过程中，根据上下文动态修改学习率
（3）自适应学习率：在训练模型的过程中，根据w, b的参数动态调整学习率