本文介紹正态随機向量的二次型及其性質，并對矩陣微商給出簡要補充，為後面的章節做準備。
目錄
Chapter 2：随機向量(2)
2.4 正态随機向量的二次型
2.5 矩陣微商的常用性質
定理 2.4.1：正态随機向量的二次型的方差：
(1) 設 \(X\sim N_n(\mu,\Sigma)\) ，\(A\) 為 \(n\times n\) 的實對稱矩陣，則
\[{\rm Var}\left(X'AX\right)=2{\rm tr}(A\Sigma)^2+4\mu'A\Sigma A\mu \ .
\]
(2) 設 \(X\sim N_n\left(\mu,\sigma^2I_n\right)\) ，\(A\) 為 \(n\times n\) 的實對稱矩陣，則
\[{\rm Var}\left(X'AX\right)=2\sigma^4{\rm tr}\left(A^2\right)+4\sigma^2\mu'A^2\mu \ .
(1) 設 \(Y=\Sigma^{-1/2}X\) ，則 \(Y\sim N\left(\Sigma^{-1/2}\mu,I_n\right)\) ，是以 \(Y\) 的各個分量互相獨立，且有 \[{\rm Var}\left(X'AX\right)={\rm Var}\left(Y'\Sigma^{1/2}A\Sigma^{1/2}Y\right) \ . 把問題轉化為求 \(Y\) 的二次型的方差，注意到 \[m_3={\rm E}\left[Y_i-{\rm E}(Y_i)\right]^3=0 \ , \quad m_4={\rm E}\left[Y_i-{\rm E}(Y_i)\right]^4=3 \ . 由定理 2.2.2 可知 \[\begin{aligned} {\rm Var}\left(Y'\Sigma^{1/2}A\Sigma^{1/2}Y\right)&=2{\rm tr}\left(A\Sigma \right)^2+4\left(\Sigma^{-1/2}\mu\right)'\left(\Sigma^{1/2}A\Sigma^{1/2}\right)^2\left(\Sigma^{-1/2}\mu\right) \\ \\ &=2{\rm tr}\left(A\Sigma \right)^2+4\mu'\Sigma^{-1/2}\Sigma^{1/2}A\Sigma A \Sigma^{1/2}\Sigma^{-1/2}\mu \\ \\ &=2{\rm tr}\left(A\Sigma \right)^2+4\mu'A\Sigma A \mu \ . \end{aligned} (2) 把 \(\Sigma=\sigma^2I_n\) 代入 (1) 中結果，即可得證。
設 \(X\sim N_n(\mu,I_n)\) ，記 \(\lambda=\mu'\mu\) ，稱随機變量 \(Y=X'X\) 的分布為自由度為 \(n\) ，非中心參數為 \(\lambda\) 的非中心 \(\chi^2\) 分布，記為 \(Y\sim\chi^2(n,\lambda)\) 。當 \(\lambda=0\) 時，稱随機變量 \(Y=X'X\) 的分布為自由度為 \(n\) 的中心 \(\chi^2\) 分布，記為 \(Y\sim\chi^2(n)\) 。
定理 2.4.2：\(\chi^2\) 分布的性質：
(1) 可加性：設 \(Y_i\sim\chi^2(n_i,\lambda_i),\,i=1,2,\cdots,k\) 且互相獨立，則
\[Y_1+Y_2+\cdots+Y_k\sim\chi^2(n,\lambda) \ , \quad n=\sum_{i=1}^kn_i \ , \quad \lambda=\sum_{i=1}^k\lambda_i \ .
(2) 數字特征：設 \(Y\sim\chi^2(n,\lambda)\) ，則 \({\rm E}(Y)=n+\lambda,\,{\rm Var}(Y)=2n+4\lambda\) 。
(1) 非中心 \(\chi^2\) 分布的特征函數為 \[\Phi(t)=(1-2it)^{-n/2}\exp\left\{\frac{it\lambda}{1-2it}\right\} \ . 設 \(Y=Y_1+Y_2+\cdots+Y_k\) ，其特征函數為 \(\Phi(t)\) ，設 \(Y_i\) 的特征函數為 \(\Phi_i(t)\) ，利用 \(Y_i\) 的獨立性可知 \Phi(t)&=\Phi_1(t)\Phi_2(t)\cdots\Phi_k(t) \\ \\ &=\prod_{i=1}^k(1-2it)^{-n_i/2}\exp\left\{\frac{it\lambda_i}{1-2it}\right\} \\ \\ &=(1-2it)^{-(n_1+n_2+\cdots+n_k)/2}\exp\left\{\frac{it(\lambda_1+\lambda_2+\cdots+\lambda_k)}{1-2it}\right\} \\ \\ &=(1-2it)^{-n/2}\exp\left\{\frac{it\lambda}{1-2it}\right\} \ . (2) 根據非中心 \(\chi^2\) 分布的定義， \[Y\xlongequal{d}X_1^2+X_2^2+\cdots+X_{n-1}^2+X_n^2 \ , 其中 \(X_i\sim N(0,1),\,i=1,2,\cdots,n-1,\,X_n\sim N\left(\sqrt{\lambda},1\right)\) ，且互相獨立，于是有 \[{\rm E}(Y)=\sum_{i=1}^n{\rm E}\left(X_i^2\right) \ , \quad {\rm Var}(Y)=\sum_{i=1}^n{\rm Var}\left(X_i^2\right) \ . 又因為 \[{\rm E}\left(X_i^2\right)={\rm Var}\left(X_i\right)+\left[{\rm E}\left(X_i\right)\right]^2= \left\{\begin{array}{ll} 1 \ , & i=1,2,\cdots,n-1 \ , \\ 1+\lambda \ , & i=n \ , \end{array}\right. 是以 \({\rm E}(Y)=n+\lambda\) 。 此外，利用正态分布的機率密度函數，經積分計算可得 \[{\rm E}\left(X_i^4\right)=\left\{\begin{array}{ll} 3 \ , & i=1,2,\cdots,n-1 \ , \\ \lambda^2+6\lambda+3 \ , & i=n \ , 于是有 \[{\rm Var}\left(X_i^2\right)={\rm E}\left(X_i^4\right)-\left[{\rm E}\left(X_i^2\right)\right]^2=\left\{\begin{array}{ll} 2 \ , & i=1,2,\cdots,n-1 \ , \\ 4\lambda+2 \ , & i=n \ , 是以 \({\rm Var}(Y)=2n+4\lambda\) 。
推論 2.4.1：設 \(X\sim N_n(0,\Sigma)\) ，\(\Sigma\) 為正定矩陣，則 \(X'\Sigma^{-1}X\sim\chi^2(n)\) 。
證明：記 \(Y=\Sigma^{-1/2}X\) ，則可知 \(Y\sim N_n\left(0,I_n\right)\) ，又因為 \[X'\Sigma^{-1}X=\left(\Sigma^{-1/2}X\right)'\Sigma^{-1/2}X=Y'Y \ , 是以 \(X'\Sigma^{-1}X\sim\chi^2(n)\) 。
推論 2.4.2：設 \(X\sim\chi^2(n)\) ，則 \({\rm E}(X)=n,\,{\rm Var}(X)=2n\) 。
推論 2.4.3：設 \(X_1,X_2,\cdots,X_k\) 互相獨立，且 \(X_i\sim\chi^2\left(n_i\right),\,i=1,2,\cdots,k\) ，則
\[X_1+X_2+\cdots+X_k\sim\chi^2(n_1+n_2+\cdots+n_k) \ .
定理 2.4.3：設 \(A\) 為 \(n\times n\) 實對稱矩陣，\(X\sim N_n\left(\mu,I_n\right)\) ，則 \(X'AX\sim\chi^2\left(r,\mu'A\mu\right)\) 當且僅當 \(A\) 是幂等矩陣且 \({\rm rank}(A)=r\) 。
這裡我們隻證明充分性。設 \(A\) 是對稱幂等矩陣且 \({\rm rank}(A)=r\) 。 易證對稱幂等矩陣的特征根隻能為 \(0\) 或 \(1\) ，于是存在正交矩陣 \(Q\) 使得 \[A=Q\left(\begin{array}{cc} I_r & 0 \\ 0 & 0 \end{array}\right)Q' \ . 令 \(Y=Q'X\) ，則 \(Y\sim N_n\left(Q'\mu,I_n\right)\) 。對 \(Y\) 和 \(Q'\) 做分塊 \[Y=\left(\begin{array}{c} Y_1 \\ Y_2 \end{array}\right) \ , \quad Q'=\left(\begin{array}{c} Q_1 \\ Q_2 \end{array}\right) \ , 其中 \(Y_1\) 是 \(r\times1\) 向量，\(Q_1\) 是 \(r\times n\) 矩陣，于是 \(A=Q_1'Q_1,\,Y_1\sim N_r\left(Q_1\mu,I_r\right)\) ，是以有 \[X'AX=X'Q\left(\begin{array}{cc} I_r & O \\ O & O \end{array}\right)Q'X=Y’\left(\begin{array}{cc} \end{array}\right)Y=Y_1'Y_1\sim\chi^2(r,\lambda) \ , 其中 \(\lambda=\left(Q_1\mu\right)'(Q_1\mu)=\mu'Q_1'Q_1\mu=\mu'A\mu\) 。
推論 2.4.4：設 \(A\) 為 \(n\times n\) 實對稱矩陣，\(X\sim N(\mu,I_n)\) ，則 \(X'AX\sim\chi^2(k)\) 當且僅當 \(A\) 是幂等矩陣且 \({\rm rank}(A)=k,\,A\mu=0\) 。
推論 2.4.5：設 \(A\) 為 \(n\times n\) 實對稱矩陣，\(X\sim N(0,I_n)\) ，則 \(X'AX\sim\chi^2(k)\) 當且僅當 \(A\) 是幂等矩陣且 \({\rm rank}(A)=k\) 。
推論 2.4.6：設 \(A\) 為 \(n\times n\) 實對稱矩陣，\(X\sim N(\mu,\Sigma),\,\Sigma>0\) ，則 \(X'AX\sim\chi^2\left(r,\mu'A\mu\right)\) 當且僅當 \(A\Sigma A=A\) 且 \({\rm rank}(A)=k\) 。
定理 2.4.3 及其推論把判定正态随機向量的二次型是否服從 \(\chi^2\) 分布的問題，等價轉化為研究相應的二次型矩陣的問題，而後者往往容易處理。
定理 2.4.4：設 \(A\) 為 \(n\times n\) 實對稱矩陣，\(X\sim N_n(\mu,I_n)\) ，已知
\[X'AX=X'A_1X+X'A_2X\sim\chi^2(r,\lambda) \ , \quad X'A_1X\sim\chi^2(s,\lambda_1) \ ,
其中 \(A_2=A-A_1\geq0,\,\lambda=\mu'A\mu,\,\lambda_1=\mu'A_1\mu\) ，則有
(1) \(X'A_2X\sim\chi^2(r-s,\lambda_2)\) ，其中 \(\lambda_2=\mu'A_2\mu\) ；
(2) \(X'A_1X\) 與 \(X'A_2X\) 互相獨立；
(3) \(A_1A_2=O\) 。
因為 \(X'AX\sim\chi^2(r,\lambda)\) ，故由定理 2.4.3 知 \(A\) 是幂等矩陣且 \({\rm rank}(A)=r\) 。于是，存在 \(n\times n\) 的正交矩陣 \(P\) 使得 \[P'AP=\left(\begin{array}{cc} \end{array}\right) \ . 因為 \(A_1\) 是對稱幂等矩陣，是以是非負定矩陣，是以有 \(A-A_1\geq0,\,A-A_2\geq0\) ，是以 \[P'(A-A_1)P\geq0 \ , \quad P'(A-A_2)P\geq0 \ . 由 \(P'AP\) 的矩陣形式可知，存在 \(r\times r\) 的對稱矩陣 \(B_1\) 和 \(B_2\) ，使得 \[P'A_1P=\left(\begin{array}{cc} B_1 & O \\ \end{array}\right) \ , \quad P'A_2P=\left(\begin{array}{cc} B_2 & O \\ 由于 \(A_1^2=A_1\) ，是以有 \(B_1^2=B_1\) 。故存在 \(r\times r\) 的正交矩陣 \(Q\) 使得 \[Q'B_1Q=\left(\begin{array}{cc} I_s & O \\ \end{array}\right) \ , \quad s\leq r \ . 記 \[S'=\left(\begin{array}{cc} Q' & O \\ O & I_{n-r} \end{array}\right)P' \ , 則 \[S'S=\left(\begin{array}{cc} \end{array}\right)P'P\left(\begin{array}{cc} Q & O \\ \end{array}\right)=\left(\begin{array}{cc} \end{array}\right)\left(\begin{array}{cc} \end{array}\right)=I_n \ . 即 \(S'\) 為正交矩陣，且使 \[S'AS=S'A_1S+S'A_2S \ , 形如 \[\left(\begin{array}{ccc} I_s & O & O \\ O & I_{r-s} & O \\ O & O & O \end{array}\right)=\left(\begin{array}{ccc} O & O & O \\ \end{array}\right)+\left(\begin{array}{ccc} \end{array}\right) . 作變換 \(Y=S'X\) ，則 \(Y\sim N_n\left(S'\mu,I_n\right)\) ，于是 &X'AX=Y'S'ASY=\sum_{i=1}^rY_i^2 \ , \\ \\ &X'A_1X=Y'S'A_1SY=\sum_{i=1}^sY_i^2 \ , \\ \\ &X'A_2X=Y'S'A_2SY=\sum_{i=s+1}^sY_i^2 \ . 因為 \(Y_1,Y_2,\cdots,Y_n\) 互相獨立，是以 \(X'A_1X\) 和 \(X'A_2X\) 互相獨立。因為 \(S'A_2S\) 是對稱幂等矩陣，秩為 \(r-s\) ，是以 \[X'A_2X=Y'S'A_2SY\sim\chi^2(r-s,\lambda_2) \ , \quad \lambda_2=\mu'A_2\mu \ . 最後有 \[A_1A_2=S\left(\begin{array}{ccc} \end{array}\right)S'S\left(\begin{array}{ccc} \end{array}\right)S'=O \ .
推論 2.4.7：設 \(X\sim N_n(\mu,I_n)\) ，\(A_1\) 和 \(A_2\) 為 \(n\times n\) 實對稱矩陣，\(X'A_1X\) 和 \(X'A_2X\) 都服從 \(\chi^2\) 分布，則 \(X'A_1X\) 和 \(X'A_2X\) 互相獨立當且僅當 \(A_1A_2=O\) 。
首先證明充分性。設 \(A_1A_2=O\) ，于是 \(A_2A_1=(A_1A_2)'=O\) ，令 \(A=A_1+A_2\) 。 由 \(X'A_1X\) 和 \(X'A_2X\) 都服從 \(\chi^2\) 分布知 \(A_1\) 和 \(A_2\) 都是幂等矩陣，進而有 \[A^2=(A_1+A_2)^2=A_1^2+A_2^2+A_1A_2+A_2A_1=A_1+A_2=A \ . 是以 \(A\) 是對稱幂等矩陣。由定理 2.4.4 (2) 可知 \(X'A_1X\) 和 \(X'A_2X\) 互相獨立。 然後證明必要性。設 \(X'A_1X\) 和 \(X'A_2X\) 互相獨立。由 \(\chi^2\) 分布的可加性知 \(X'AX\) 服從 \(\chi^2\) 分布。 由定理 2.4.4 (3) 可知 \(A_1A_2=O\) 。
我們可以将上述兩個結論中的協方差陣 \({\rm Cov}(X)=I_n\) ，推廣到 \({\rm Cov}(X)=\Sigma>0\) 的情形，即可得到如下兩個推論。
推論 2.4.8：設 \(A\) 為 \(n\times n\) 實對稱矩陣，\(X\sim N_n(\mu,\Sigma),\,\Sigma>0\) ，已知
(3) \(A_1\Sigma A_2=O\) 。
推論 2.4.9：設 \(X\sim N_n(\mu,\Sigma),\,\Sigma>0\) ，\(A_1\) 和 \(A_2\) 為 \(n\times n\) 實對稱矩陣，\(X'A_1X\) 和 \(X'A_2X\) 都服從 \(\chi^2\) 分布，則 \(X'A_1X\) 和 \(X'A_2X\) 互相獨立當且僅當 \(A_1\Sigma A_2=O\) 。
接下來讨論二次型 \(X'AX\) 和線性型 \(CX\) 的獨立性條件，這些結果将主要應用于線上性模型的參數估計和假設檢驗中。
定理 2.4.5：設 \(X\sim N_n(\mu,I_n)\) ，\(A\) 為 \(n\times n\) 實對稱矩陣，\(C\) 為 \(m\times n\) 實矩陣，若 \(CA=O\) ，則 \(CX\) 與 \(X'AX\) 互相獨立。
因為 \(A\) 為實對稱矩陣，是以存在正交陣 \(Q\) 使得 \Lambda & O\\ \end{array}\right)Q' \ , 其中 \(\Lambda={\rm diag}(\lambda_1,\lambda_2,\cdots,\lambda_r)\) 為 \(A\) 的非零特征根，\({\rm rank}(A)=r\) 。 把 \(Q\) 分塊成 \(Q=(Q_1 \ \ Q_2 )\) ，其中 \(Q_1\) 是 \(n\times r\) 矩陣。作正交變換 \end{array}\right)=Q'X \ . 于是 \(Y_1=Q_1'X,\,Y_2=Q_2'X\) ，且有 \(Y\sim N_n\left(Q'\mu,I_n\right)\) ，是以 \[Y_1\sim N_r\left(Q_1'\mu,I_r\right) \ , \quad Y_2\sim N_{n-r}\left(Q_2'\mu,I_{n-r}\right) \ , 且 \(Y_1\) 與 \(Y_2\) 互相獨立。注意到 &X'AX=Y'Q'AQY=Y_1'\Lambda Y_1 \ , \\ \\ &CX=CQY\xlongequal{def}DY \ , \quad D=CQ \ , 由于 \(CA=O\) ，是以 \[O=CAQ=CQQ'AQ=DQ'AQ=D\left(\begin{array}{cc} \Lambda & O \\ 把 \(D\) 分塊成 \(D=(D_1 \ \ D_2)\) ，其中 \(D_1\) 是 \(m\times r\) 矩陣，則上式可以推出 \(D_1=O\) ，進而代回得到 \[CX=DY=D_2Y_2 \ . 再由 \(Y_1\) 和 \(Y_2\) 的獨立性可知，\(Y_1'\Lambda Y_1\) 和 \(DY_2\) 互相獨立，進而 \(CX\) 和 \(X'AX\) 互相獨立。
将上述結論中的協方差陣 \({\rm Cov}(X)=I_n\) 推廣到 \({\rm Cov}(X)=\Sigma>0\) 的情形，有如下推論。
推論 2.4.10：設 \(X\sim N_n(\mu,\Sigma),\,\Sigma>0\) ，\(A\) 為 \(n\times n\) 實對稱矩陣，\(C\) 為 \(m\times n\) 實矩陣，若 \(C\Sigma A=O\) ，則 \(CX\) 與 \(X'AX\) 互相獨立。
接下來讨論兩個二次型 \(X'AX\) 和 \(X'BX\) 的獨立性條件。
定理 2.4.6：設 \(X\sim N_n(\mu,I_n)\) ，\(A\) 和 \(B\) 均為 \(n\times n\) 實對稱矩陣，若 \(AB=O\) ，則 \(X'AX\) 與 \(X'BX\) 互相獨立。
由 \(A\) 和 \(B\) 的對稱性及 \(AB=O\) 可知 \(AB=BA=O\) ，即 \(AB\) 可交換。是以可用同一正交矩陣将這兩個矩陣對角化，即存在正交矩陣 \(Q\) 使得 &Q'AQ=\Lambda_1={\rm diag}\left(\lambda_1^{(1)},\lambda_2^{(1)},\cdots,\lambda_n^{(1)}\right) \ , \\ \\ &Q'BQ=\Lambda_2={\rm diag}\left(\lambda_1^{(2)},\lambda_2^{(2)},\cdots,\lambda_n^{(2)}\right) \ . 由 \(AB=O\) ，可推得 \(\Lambda_1\Lambda_2=O\) ，即 \(\lambda_i^{(1)}\) 和 \(\lambda_i^{(2)}\) 至少有一個為 \(0\) ，\(i=1,2,\cdots,n\) 。 令 \(Y=Q'X\) ，則 \(Y\sim N_n\left(Q'\mu,I_n\right)\) ，于是 \(Y\) 的所有分量互相獨立。另一方面，由于 X'AX=Y'Q'AQY=Y'\Lambda_1Y \ , \\ \\ X'BX=Y'Q'BQY=Y'\Lambda_2Y \ , 是以可知 \(X'AX\) 與 \(X'BX\) 依賴于 \(Y\) 的不同分量，是以 \(X'AX\) 與 \(X'BX\) 互相獨立。
同樣的，該定理可以推廣到 \({\rm Cov}(X)=\Sigma>0\) 的情形。
推論 2.4.11：設 \(X\sim N_n(\mu,\Sigma),\,\Sigma>0\) ，\(A\) 和 \(B\) 均為 \(n\times n\) 實對稱矩陣，若 \(A\Sigma B=O\) ，則 \(X'AX\) 與 \(X'BX\) 互相獨立。
設 \(X=(x_{ij})\) 是 \(m\times n\) 矩陣，\(y=f(X)\) 為 \(X\) 的一個實值函數，定義矩陣
\[\frac{\partial y}{\partial X}\xlongequal{def}\left(\begin{array}{cccc}
\cfrac{\partial y}{\partial x_{11}} & \cfrac{\partial y}{\partial x_{12}} & \cdots & \cfrac{\partial y}{\partial x_{1n}} \\
\cfrac{\partial y}{\partial x_{21}} & \cfrac{\partial y}{\partial x_{22}} & \cdots & \cfrac{\partial y}{\partial x_{2n}} \\
\vdots &\vdots & \ddots & \vdots \\
\cfrac{\partial y}{\partial x_{m1}} & \cfrac{\partial y}{\partial x_{m2}} & \cdots & \cfrac{\partial y}{\partial x_{mn}} \\
\end{array}\right)_{m\times n} \ ,
稱為 \(y\) 對 \(X\) 的微商。
定理 2.5.1：設 \(a\) 和 \(x\) 均為 \(n\) 維向量，\(y=a'x\) ，則有 \(\cfrac{\partial y}{\partial x}=a\) 。
因為 \[y=a'x=\sum_{i=1}^na_ix_i \ , 是以 \[\frac{\partial y}{\partial x} =\left(\begin{array}{cccc} \cfrac{\partial y}{\partial x_{1}} \\ \cfrac{\partial y}{\partial x_{2}} \\ \vdots \\ \cfrac{\partial y}{\partial x_{n}} \\ \end{array}\right) a_1 \\ a_2 \\ a_n \\ \end{array}\right)=a \ . 此外可知 \[\frac{\partial x'a}{\partial x}=\frac{\partial y}{\partial x}=\frac{\partial a'x}{\partial x}=a \ .
定理 2.5.2：設 \(A\) 為 \(m\times n\) 矩陣，\(x\) 為 \(n\) 維向量，\(y=x'Ax\) ，則有 \(\cfrac{\partial y}{\partial x}=Ax+A'x\) 。
\[y=x'Ax=\sum_{i=1}^n\sum_{j=1}^na_{ij}x_ix_j \ , \frac{\partial y}{\partial x_1}&=\sum_{i=1}^na_{i1}x_i+\sum_{j=1}^na_{1j}x_j \ , \\ \\ \frac{\partial y}{\partial x_2}&=\sum_{i=1}^na_{i2}x_i+\sum_{j=1}^na_{2j}x_j \ , \\ \\ &\vdots \\ \\ \frac{\partial y}{\partial x_n}&=\sum_{i=1}^na_{in}x_i+\sum_{j=1}^na_{nj}x_j \ . 是以可以看出 \sum\limits_{i=1}^na_{i1}x_i+\sum\limits_{j=1}^na_{1j}x_j \\ \sum\limits_{i=1}^na_{i2}x_i+\sum\limits_{j=1}^na_{2j}x_j \\ \sum\limits_{i=1}^na_{in}x_i+\sum\limits_{j=1}^na_{nj}x_j \\ \end{array}\right)=Ax+A'x \ . 此外，若 \(A\) 為 \(n\times n\) 對稱矩陣，則 \[\frac{\partial x'Ax}{\partial x}=2Ax \ .