本系列笔记为方便日后自己查阅而写,更多的是个人见解,也算一种学习的复习与总结,望善始善终吧~
1. 标准正交基与正交矩阵
标准正交向量组 orthonomal vectors
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsISO2cTN1gTM2EDOwETM1EDMy8CX0Vmbu4GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpg)
彼此正交orthogonal且模长norm为1(normalized)
当做column vecor写成矩阵形式:
对于这样的矩阵,我们理所当然的要去观察他的 QTQ
这个式子对任意的 Q 都成立,但我们更关注Q为方阵时的情况,因为其有逆且由 QTQ=I ⇒Q−1=QT ,我们叫这种column vector为标准正交向量组组成且为方阵的矩阵为正交矩阵orthogonal matrix。
注意:标准正交矩阵*orthogonormal matrix不一定是方阵,当它是方阵的时候,我们叫它正交矩阵* orthogonal matrix。
正交矩阵 orthogonal matrix
为什么我们如此关注标准正交矩阵orthogonormal matrix为方阵的情形?联系我们之前学习的投影矩阵projection matrix,我们试着写出要把投影到 Q 的column space的投影阵:P=Q(QTQ)−1QT=QQT,当 Q 为方阵时QQT=I投影矩阵为单位矩阵,而 Q 非方阵时我们需要进行计算。
引入orthogonormal matrix的目的在于使得我们之前寻找Ax=b最优解的过程变得更为简单,还记的求最优解就是求 ATAx^=ATb 吗?当 A 为标准正交矩阵orthogonormal matrix Q,式子重写为 QTQx^=QTb ⇒x^=QTb 进而可以发现 x^i=qTib 即 x^ 的第 i 个分量为Q的第 i 个基向量乘以b
2. 格拉姆-施密特正交化 Graham-Schmidt
这是一种将矩阵转化为标准正交向量orthogonormal matrix的方法。按老师的说法Schmidt教我们如何将一个向量标准化normalized,而Graham教我们如何使得各个向量正交orthogonal。
施密特 Schmidt
格拉姆 Graham
下面就是转化的过程,从两个向量说起:
我们原始的两个向量 a,b 要转化为两个正交的向量 A,B ,我们可以选择 A=a 然后求解一个 B ,回忆之前的内容,其实我们就是在求解在投影时产生的偏差向量error vector B=e=b−p=b− ATbATA A ,如果我们加入c呢?其实我们做的就是重复刚才的操作使得 C 其与A,B正交,故 C=C− ATcATA A− BTcBTB B ,最后用施密特的方法normalized即可。
举个例子:
将A转化为 Q ,可以发现其column space是相同的,只是我们将其标准正交化之后得到的基basics更好一些,因为利用这些标准正交向量得到的标准正交矩阵有很好的性质,这可以方便我们计算。
3. QR分解
回忆我们之前的消元法,目的是使得A=LU,而格拉姆-施密特的目的在于 A=QR ,这里的 R 是一个上三角矩阵upper triangular matrix
理由是R会是由这些元素组成(不明所以,估计要去看书或者下一节课看看是否有讲解),格拉姆-施密特的好处在于我们分解出来的 q2,q3,...qn 都是与 a 正交的,所以我们会得到上三角形式的R
PS:另一位仁兄的笔记 http://blog.csdn.net/suqier1314520/article/details/13769403