文章目录
- 一、基本概念
- 1.1 协方差矩阵 及推导
- 1.2 Hessian矩阵
- 1.3 Hessian矩阵 示例
- 1.3 正定矩阵定义及性质
- 1.4 正定矩阵 示例
一、基本概念
1.1 协方差矩阵 及推导
在统计学中用标准差描述样本数据的 “散布度” 公式中之所以除以 n-1 而不是 n,
是因为这样使我们以较少的样本集更好的逼近总体标准差。即统计学上所谓的 “无偏估计”。
关于 协方差 与 散度
方差：
各个维度偏离其均值的程度，协方差：
协方差矩阵的计算：
1.2 Hessian矩阵
Hessian矩阵定义：
若一元函数 在 点的某个领域内具有任意阶导数，则 在 点的泰勒展开式为：
其中：
二元函数 在点处的泰勒展开式为：
其中：
将上述(2)展开式写成矩阵形式，则有：
即为：
其中：
是 在 点处的Hessian矩阵。它是由函数 在 点处的二阶偏导数所组成的方阵。我们一般将其表示为:
简写成：
1.3 Hessian矩阵 示例
1.3 正定矩阵定义及性质
在线性代数中，正定矩阵（positive definite matrix）简称正定阵。
定义：A是n阶方阵，如果对于任何非零向量x都有就称A正定矩阵。