矩陣論筆記（五）——向量範數與矩陣範數

範數是距離在向量和矩陣上的推廣，在研究收斂性、判斷矩陣非奇異等方面有廣泛應用。

本節包括以下内容：

（1）向量範數；

（2）矩陣範數；

（3）從屬範數；

（4）譜半徑；

（5）矩陣的非奇異條件。

1 向量範數

從向量到實數的映射/函數。

定義

（1）條件：非負性、齊次性、三角不等式（ ∥x+y∥≤∥x∥+∥y∥ ）；

（2）斂散：向量序列 {x(k)} 收斂，即每個分量在 k→∞ 時都有極限 ξi ，否則發散。

性質

（1）連續型：可證 ∥∥x∥−∥y∥∥≤∥x−y∥ ，繼而可證向量範數是其分量的連續函數；

（2）等價性：任意範數，存在 c1,c2 使 c1∥x∥b≤∥x∥a≤c2∥x∥b 成立。有限維線性空間上的不同範數是等價的；

（3）等價性的意義：向量範數大小可能不同，但在考慮向量序列收斂問題時，卻表現出明顯的一緻性（向量序列 {x(k)} 收斂到 x 的充要條件是，對任意一種範數 序列 {∥x(k)−x∥} 收斂于零）。

常用範數

（1）p-範數（1-範數、2-範數等）：

∥x∥p=(∑i=1n|ξi|p)1/p

，也稱為 lp 範數，注意元素的絕對值（或模）；

（2）無窮範數： ∥x∥∞=limp→∞∥x∥p=maxi|ξi|

；

（3）權重範數（橢圓範數）： ∥x∥A=(xTAx)1/2 ，其中 A 是任意一個對稱正定矩陣。注意 PTAP=I⇒A=(PT)−1P−1=BTB⇒∥x∥A=∥B∥2。

2 矩陣範數

從（複）矩陣到實數的映射/函數。

定義

（1）廣義矩陣範數：非負性、齊次性、三角不等式 ∥A+B∥≤∥A∥+∥B∥ ；

（2）矩陣範數：除以上三條件外，滿足相容性 ∥AB∥≤∥A∥∥B∥ （是以 ∥Ak∥≤∥A∥k ）。

性質

（1）判斷收斂： A(k)→A 的充要條件是 ∥A(k)−A∥→0 ；

（2）連續型：可證 ∥∥A∥−∥B∥∥≤∥A−B∥ ，繼而可證連續性，即 A(k)→A 可推出 ∥A(k)∥→∥A∥ （是以，當 ∥A∥→0 時， A→O ）；

（3）等價性：滿足定義四條件的矩陣範數都是等價的；

（4） F− 範數的性質： ∥PA∥F=∥A_F=∥AQ∥F ，其中 P,Q 為酉矩陣。

常用範數

（1） ∥⋅∥m1 ：所有元素絕對值（模）之和 ∑i,j∥aij∥ ；

（2） ∥⋅∥m2 ：所有元素平方和開根号 (∑ij∥aij∥2)1/2)=(tr(AHA))1/2 ，等同于 ∥⋅∥F ；

（3） ∥⋅∥m∞ ：所有元素絕對值（模）最大值乘以 n ，n⋅maxi,j∥aij∥；

（4） ∥⋅∥1 ：各列元素絕對值（模）之和最大者 maxj∑mi=1∥aij∥ .

（5） ∥⋅∥2 ：最大奇異值 λ1‾‾‾√ ，其中 λ1 為 AHA 的最大特征值；

（6） ∥⋅∥∞ ：各行元素絕對值（模）之和最大者 maxi∑nj=1∥aij∥. .

（7） ∥⋅∥F ：同 ∥⋅∥m2 ，為 (∑ij∥aij∥2)1/2)=(tr(AHA))1/2 .

3 矩陣與向量範數的相容性

定義

（1）矩陣與向量範數的相容性：若 ∥Ax∥V≤∥A∥M∥x∥V (∀A∈Cm×n, ∀x∈Cn) ，則稱矩陣範數 ∥⋅∥M 與向量範數 ∥⋅∥V 是相容的；

（2）構造相容範數：從屬範數（由向量範數導出的矩陣範數， ∥A∥=max∥x∥=1∥Ax∥ ，也可以等價定義為 ∥A∥=maxx∥Ax∥∥x∥ ）。

定理

（1）F-範數：設 P, Q 為酉矩陣，則 ∥PA∥F=∥A∥F=∥AQ∥F ；

（2）F-範數：與 A 酉（正交）相似的矩陣的 F-範數是相同的；

（3）構造相容範數：∥A∥=max∥x∥=1∥Ax∥（ ∥⋅∥ 是同類向量範數）是矩陣範數，且與已知的向量範數相容（即 A 的值域中向量範數最大者）。

常用範數

從屬範數：

（1）列和範數：∥A∥1=max∥x∥1=1∥Ax∥1=maxj∑mi=1∥aij∥（每列元素絕對值/模和最大者）；

（2）譜範數： ∥A∥1=max∥x∥1=2∥Ax∥2=λ1‾‾‾√ （其中 λ1 為 AHA 的最大特征值）；

（3）行和範數： ∥A∥∞=max∥x∥∞=1∥Ax∥∞=maxi∑nj=1∥aij∥ （每行元素絕對值/模和最大者）；

（4）Frobenius 範數（F-範數）： ∥A∥F=(∑i∑j∥aij∥2)1/2=(tr(AHA))1/2 （所有元素平方和開根号）。

4 譜半徑

定義

（1）譜半徑： ρ(A)=maxi∥λi∥ （注意絕對值/模）；

定理

（1）對任意矩陣範數，有 ρ(A)≤∥A∥ （證：用 ∥λx∥V=∥Ax∥M≤∥A∥∥x∥ ）；

（2） ρ(Ak)=[ρ(A)]k （證：用 P−1AP=J ）；

（3）譜範數： ∥A∥2=ρ1/2(AHA)=ρ1/2(AAH) 。當 A 是 Hermite 矩陣時，∥A∥2=ρ(A)（證： ρ(AHA)=ρ(A2)=[ρ(A)]2 ）；

（4）對任意正數 ϵ ，一定存在某種矩陣範數使得 ∥A∥M≤ρ(A)+ϵ 。

5 矩陣的非奇異條件

（1） A∈Cn×n ，若存在某種範數使 ∥A∥<1 ，則矩陣 I−A 非奇異，且 ∥(I−A)−1∥≤∥I∥1−∥A∥ ；

（2） A∈Cn×n ，若存在某種範數使 ∥A∥<1 ，則 ∥I−(I−A)−1∥≤∥A∥1−∥A∥ （ ∥A∥ 很小，即 A→O 時， I−A 與 I <script type="math/tex" id="MathJax-Element-243">I</script> 的逼近程度）。