【時間序列分析】11.AR(1)和AR(2)模型

文章目錄

• 十一、 A R ( 1 ) {\rm AR}(1) AR(1)和 A R ( 2 ) {\rm AR}(2) AR(2)模型
• • 1. A R ( 1 ) {\rm AR}(1) AR(1)模型
  • 2. A R ( 2 ) {\rm AR}(2) AR(2)模型的穩定域
  • 3. A R ( 2 ) {\rm AR}(2) AR(2)模型的自相關系數與允許域
  • 4. A R ( 2 ) {\rm AR}(2) AR(2)序列的譜密度
  • 回顧總結

十一、 A R ( 1 ) {\rm AR}(1) AR(1)和 A R ( 2 ) {\rm AR}(2) AR(2)模型

1. A R ( 1 ) {\rm AR}(1) AR(1)模型

A R ( 1 ) {\rm AR}(1) AR(1)模型的形式是 X t = a X t − 1 + ε t X_t=aX_{t-1}+\varepsilon_t Xt​=aXt−1​+εt​， { ε t } ∼ W N ( 0 , σ 2 ) \{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2) {εt​}∼WN(0,σ2)，滿足最小相位條件的 a a a取值域是 ∣ a ∣ < 1 |a|<1 ∣a∣<1。我們已經在之前的讨論中，得出了它的平穩解是

X t = ∑ j = 0 ∞ a j ε t − j . X_t=\sum_{j=0}^\infty a^j\varepsilon_{t-j}. Xt​=j=0∑∞​ajεt−j​.

自協方差函數與自相關函數是

γ 0 = σ 2 ∑ j = 0 ∞ a 2 j = σ 2 1 − a 2 , γ k = a γ k − 1 = ⋯ = a k γ 0 , ρ k = γ k γ 0 = a k . \gamma_0=\sigma^2\sum_{j=0}^\infty a^{2j}=\frac{\sigma^2}{1-a^2},\\ \gamma_k=a\gamma_{k-1}=\cdots=a^k\gamma_0,\\ \rho_k=\frac{\gamma_k}{\gamma_0}=a^k. γ0​=σ2j=0∑∞​a2j=1−a2σ2​,γk​=aγk−1​=⋯=akγ0​,ρk​=γ0​γk​​=ak.

譜密度為

f ( λ ) = σ 2 2 π ∣ 1 − a e i λ ∣ 2 = σ 2 2 π [ 1 + a 2 − 2 a cos ⁡ λ ] , π ∈ [ − π , π ] f(\lambda)=\frac{\sigma^2}{2\pi|1-ae^{{\rm i}\lambda}|^2}=\frac{\sigma^2}{2\pi[1+a^2-2a\cos \lambda]},\quad \pi\in [-\pi,\pi] f(λ)=2π∣1−aeiλ∣2σ2​=2π[1+a2−2acosλ]σ2​,π∈[−π,π]

通過繪制譜密度圖， 可以發現，當 a > 0 a>0 a>0時，譜密度峰值出現在中間，即 f ( λ ) < f ( 0 ) f(\lambda)<f(0) f(λ)<f(0)；當 a < 0 a<0 a<0時，譜密度峰值出現在兩側，即 f ( λ ) < f ( π ) f(\lambda)<f(\pi) f(λ)<f(π)。

2. A R ( 2 ) {\rm AR}(2) AR(2)模型的穩定域

A R ( 2 ) {\rm AR}(2) AR(2)模型的自回歸系數為 ( a 1 , a 2 ) (a_1,a_2) (a1​,a2​)，形式是 X t = a 1 X t − 1 + a 2 X t − 2 + ε t X_t=a_1X_{t-1}+a_2X_{t-2}+\varepsilon_t Xt​=a1​Xt−1​+a2​Xt−2​+εt​，這裡 { ε t } ∼ W N ( 0 , σ 2 ) \{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2) {εt​}∼WN(0,σ2)，特征多項式為 A ( z ) = 1 − a 1 z − a 2 z 2 A(z)=1-a_1z-a_2z^2 A(z)=1−a1​z−a2​z2，還要滿足最小相位條件，即 A ( z ) ≠ 0 , ∣ z ∣ ≤ 1 A(z)\ne 0,|z|\le 1 A(z)​=0,∣z∣≤1。在滿足穩定性條件的前提下，自回歸系數有什麼特征呢？以下給出一個定理。

自回歸系數為 ( a 1 , a 2 ) (a_1,a_2) (a1​,a2​)的 A R ( 2 ) {\rm AR}(2) AR(2)模型，它的穩定性條件是：

a 2 ± a 1 < 1 , ∣ a 2 ∣ < 1. a_2\pm a_1<1,\quad |a_2|<1. a2​±a1​<1,∣a2​∣<1.

我們将 A = { ( a 1 , a 2 ) : a 2 ± a 1 < 1 , ∣ a 2 ∣ < 1 } \mathscr A=\{(a_1,a_2):a_2\pm a_1<1,|a_2|<1\} A={(a1​,a2​):a2​±a1​<1,∣a2​∣<1}稱為 A R ( 2 ) {\rm AR}(2) AR(2)模型的穩定域。

這裡給出對穩定域的證明。當 z 1 , z 2 z_1,z_2 z1​,z2​都是複根，即為 a ± i b a\pm {\rm i}b a±ib，穩定的條件是 a 2 + b 2 > 1 \sqrt{a^2+b^2}>1 a2+b2

​>1。對特征多項式 A ( z ) = 1 − a 1 z − a 2 z 2 = 0 A(z)=1-a_1z-a_2z^2=0 A(z)=1−a1​z−a2​z2=0進行求解，得到

Δ = a 1 2 + 4 a 2 < 0 ⇒ a 2 < − a 1 2 4 ≤ 0 z 1 z 2 = ( a + i b ) ( a − i b ) = a 2 + b 2 = 1 − a 2 > 1 ⇒ − 1 < a 2 < 0 ⇓ − 1 < a 2 < − a 1 2 4 ≤ 0 , ∣ a 1 ∣ < 2. \Delta = a_1^2+4a_2<0\Rightarrow a_2<-\frac{a_1^2}{4}\le0 \\ z_1z_2=(a+{\rm i}b)(a-{\rm i}b)=a^2+b^2=\frac{1}{-a_2}>1\Rightarrow -1<a_2<0\\ \Downarrow \\ -1<a_2<-\frac {a_1^2}4\le 0,\quad |a_1|<2. Δ=a12​+4a2​<0⇒a2​<−4a12​​≤0z1​z2​=(a+ib)(a−ib)=a2+b2=−a2​1​>1⇒−1<a2​<0⇓−1<a2​<−4a12​​≤0,∣a1​∣<2.

當 z 1 , z 2 z_1,z_2 z1​,z2​都是實根時，分類讨論：

1. a 2 > 0 , a 1 > 0 a_2>0,a_1>0 a2​>0,a1​>0，此時有 Δ = a 1 2 + 4 a 2 > 0 \Delta =a_1^2+4a_2>0 Δ=a12​+4a2​>0顯然成立，且 A ( z ) A(z) A(z)的對稱軸 − a 1 / 2 a 2 < 0 -a_1/2a_2<0 −a1​/2a2​<0，由二次函數知識知道隻需要 − A ( 1 ) = − 1 + a 1 + a 2 < 0 -A(1)=-1+a_1+a_2<0 −A(1)=−1+a1​+a2​<0，即 a 2 + a 1 < 1 a_2+a_1<1 a2​+a1​<1。
2. a 2 > 0 , a 1 < 0 a_2>0,a_1<0 a2​>0,a1​<0，此時有 Δ > 0 \Delta >0 Δ>0顯然成立，且 A ( z ) A(z) A(z)的對稱軸 − a 1 / 2 a 2 > 0 -a_1/2a_2>0 −a1​/2a2​>0，由二次函數知識知道隻需要 − A ( − 1 ) = − 1 − a 1 + a 2 < 0 -A(-1)=-1-a_1+a_2<0 −A(−1)=−1−a1​+a2​<0，即 a 2 − a 1 < 1 a_2-a_1<1 a2​−a1​<1。
3. a 2 < 0 , a 1 > 0 a_2<0,a_1>0 a2​<0,a1​>0，此時要 Δ = a 1 2 + 4 a 2 > 0 \Delta=a_1^2+4a_2>0 Δ=a12​+4a2​>0，就有 a 1 2 > − 4 a 2 a_1^2>-4a_2 a12​>−4a2​，且對稱軸 − a 1 / 2 a 2 > 0 -a_1/2a_2>0 −a1​/2a2​>0，由二次函數知識知道需要 − A ( 1 ) < 0 -A(1)<0 −A(1)<0即 a 2 + a 1 < 1 a_2+a_1<1 a2​+a1​<1，且 − a 1 / 2 a 2 > 1 -a_1/2a_2>1 −a1​/2a2​>1即 − 2 a 2 < a 1 -2a_2<a_1 −2a2​<a1​。
4. a 2 < 0 , a 1 > 0 a_2<0,a_1>0 a2​<0,a1​>0，此時要 Δ > 0 \Delta>0 Δ>0依然要 a 1 2 > − 4 a 2 a_1^2>-4a_2 a12​>−4a2​，且對稱軸 − a 1 / 2 a 2 < 0 -a_1/2a_2<0 −a1​/2a2​<0，由二次函數知識知道需要 − A ( − 1 ) < 0 -A(-1)<0 −A(−1)<0即 a 2 − a 1 < 0 a_2-a_1<0 a2​−a1​<0，且 − a 1 / 2 a 2 < − 1 -a_1/2a_2<-1 −a1​/2a2​<−1，即 a 1 < 2 a 2 a_1<2a_2 a1​<2a2​。
5. a 1 = 0 , a 2 > 0 a_1=0,a_2>0 a1​=0,a2​>0，此時要 − A ( 1 ) < 0 -A(1)<0 −A(1)<0，即 a 2 < 1 a_2<1 a2​<1。

綜上所述，我們可以繪制穩定域圖如下：

其中橫軸為 a 1 a_1 a1​，縱軸為 a 2 a_2 a2​，藍色部分表示 z 1 , z 2 z_1,z_2 z1​,z2​為實根，紅色部分表示複根，分界為 a 2 = − a 1 2 / 4 a_2=-a_1^2/4 a2​=−a12​/4。

3. A R ( 2 ) {\rm AR}(2) AR(2)模型的自相關系數與允許域

在滿足穩定性條件的情況下，由Yule-Walker方程，可以得到

γ k = a 1 γ k − 1 + a 2 γ k − 2 , k ≥ 1. \gamma_k=a_1\gamma_{k-1}+a_2\gamma_{k-2},\quad k\ge 1. γk​=a1​γk−1​+a2​γk−2​,k≥1.

兩邊同時除以 γ 0 \gamma_0 γ0​，就得到 k ≥ 1 k\ge 1 k≥1時自相關系數滿足的方程：

ρ k = a 1 ρ k − 1 + a 2 ρ k − 2 , k ≥ 1. \rho_k=a_1\rho_{k-1}+a_2\rho_{k-2},\quad k\ge 1. ρk​=a1​ρk−1​+a2​ρk−2​,k≥1.

在 A R ( 2 ) {\rm AR}(2) AR(2)模型中，自相關系數還能表示出自回歸系數，并且自回歸系數也能由自相關系數表出。

由Yule-Walker方程還能得到Yule-Walker系數為

a 1 , 1 = γ 1 / γ 0 = ρ 1 , a 2 , 1 = a 1 , a 2 , 2 = a 2 , a j , j = 0 , j > 2. a_{1,1}=\gamma_1/\gamma_0=\rho_1,\quad a_{2,1}=a_1,\quad a_{2,2}=a_2,\\ a_{j,j}=0,\quad j>2. a1,1​=γ1​/γ0​=ρ1​,a2,1​=a1​,a2,2​=a2​,aj,j​=0,j>2.

由Levinson遞推方程，有

a 2 , 2 = a 2 = γ 2 − a 1 , 1 γ 1 γ 0 − a 1 , 1 γ 1 = / γ 0 / γ 0 ρ 2 − ρ 1 2 1 − ρ 1 2 , a 2 , 1 = a 1 = a 1 , 1 − a 2 , 2 a 1 , 1 = ρ 1 ( 1 − ρ 2 − ρ 1 2 1 − ρ 1 2 ) = ρ 1 ( 1 − ρ 2 ) 1 − ρ 1 2 . a_{2,2}=a_2=\frac{\gamma_2-a_{1,1}\gamma_1}{\gamma_0-a_{1,1}\gamma_1}\xlongequal[/\gamma_0]{/\gamma_0}\frac{\rho_2-\rho_1^2}{1-\rho_1^2},\\ a_{2,1}=a_1=a_{1,1}-a_{2,2}a_{1,1}=\rho_1\left(1-\frac{\rho_2-\rho_1^2}{1-\rho_1^2} \right)=\frac{\rho_1(1-\rho_2)}{1-\rho_1^2}. a2,2​=a2​=γ0​−a1,1​γ1​γ2​−a1,1​γ1​​/γ0​

/γ0​​1−ρ12​ρ2​−ρ12​​,a2,1​=a1​=a1,1​−a2,2​a1,1​=ρ1​(1−1−ρ12​ρ2​−ρ12​​)=1−ρ12​ρ1​(1−ρ2​)​.

這就得到

a 1 = ρ 1 ( 1 − ρ 2 ) 1 − ρ 1 2 , a 2 = ρ 2 − ρ 1 2 1 − ρ 1 2 . a_1=\frac{\rho_1(1-\rho_2)}{1-\rho_1^2},\quad a_2=\frac{\rho_2-\rho_1^2}{1-\rho_1^2}. a1​=1−ρ12​ρ1​(1−ρ2​)​,a2​=1−ρ12​ρ2​−ρ12​​.

反解得到

ρ 1 = a 1 1 − a 2 , ρ 2 = a 2 + a 1 2 1 − a 2 . \rho_1=\frac{a_1}{1-a_2},\quad \rho_2=a_2+\frac{a_1^2}{1-a_2}. ρ1​=1−a2​a1​​,ρ2​=a2​+1−a2​a12​​.

現在我們可以導出允許域，即 ( a 1 , a 2 ) (a_1,a_2) (a1​,a2​)在穩定域 A = { ( a 1 , a 2 ) : a 2 ± a 1 < 1 , ∣ a 2 ∣ < 1 } \mathscr A=\{(a_1,a_2):a_2\pm a_1<1,|a_2|<1\} A={(a1​,a2​):a2​±a1​<1,∣a2​∣<1}中運動時， ( ρ 1 , ρ 2 ) (\rho_1,\rho_2) (ρ1​,ρ2​)也在一個範圍内運動，這個範圍稱為允許域 C \mathscr C C，形式為

C = { ( ρ 1 , ρ 2 ) : ρ 1 2 < 1 + ρ 2 2 , ∣ ρ 1 ∣ < 1 , ∣ ρ 2 ∣ < 1 } . \mathscr C=\{(\rho_1,\rho_2):\rho_1^2<\frac{1+\rho_2}{2},|\rho_1|<1,|\rho_2|<1\}. C={(ρ1​,ρ2​):ρ12​<21+ρ2​​,∣ρ1​∣<1,∣ρ2​∣<1}.

4. A R ( 2 ) {\rm AR}(2) AR(2)序列的譜密度

A R ( 2 ) {\rm AR}(2) AR(2)序列的密度為

f ( λ ) = σ 2 2 π ∣ 1 − a 1 e i λ − a 2 e 2 i λ ∣ 2 . f(\lambda)=\frac{\sigma^2}{2\pi|1-a_1e^{{\rm i}\lambda}-a_2e^{2{{\rm i}\lambda}}|^2}. f(λ)=2π∣1−a1​eiλ−a2​e2iλ∣2σ2​.

如果 ( a 1 , a 2 ) (a_1,a_2) (a1​,a2​)落在穩定域的複值部分，即 a 2 < − 1 4 a 1 2 a_2<-\frac14a_1^2 a2​<−41​a12​時， z 1 , z 2 = ρ e ± i λ 0 z_1,z_2=\rho e^{\pm{\rm i}\lambda_0} z1​,z2​=ρe±iλ0​，如果 ρ \rho ρ靠近1，則譜密度在 λ 0 \lambda_0 λ0​附近存在一個峰值，即 A R ( 2 ) {\rm AR}(2) AR(2)序列的角頻率大約是 λ 0 \lambda_0 λ0​。

回顧總結

1. A R ( 1 ) {\rm AR}(1) AR(1)模型的穩定性條件為 0 < ∣ a ∣ < 1 0<|a|<1 0<∣a∣<1。

2. A R ( 1 ) {\rm AR}(1) AR(1)序列的譜密度為

   f ( λ ) = σ 2 2 π ( 1 + a 2 − 2 a cos ⁡ λ ) . f(\lambda)=\frac{\sigma^2}{2\pi(1+a^2-2a\cos \lambda)}. f(λ)=2π(1+a2−2acosλ)σ2​.

   如果 a < 0 a<0 a<0則譜密度兩邊高中間低，如果 a > 0 a>0 a>0則譜密度中間高兩邊低。

3. A R ( 1 ) {\rm AR}(1) AR(1)序列的方差為 γ 0 = σ 2 / ( 1 − a 2 ) \gamma_0=\sigma^2/(1-a^2) γ0​=σ2/(1−a2)，自協方差函數為 γ k = a k γ 0 \gamma_k=a^k\gamma_0 γk​=akγ0​，相關系數為 ρ k = a k \rho_k=a^k ρk​=ak。

4. A R ( 2 ) {\rm AR}(2) AR(2)模型的穩定域和允許域分别為

   A = { ( a 1 , a 2 ) : a 2 < − 1 4 a 1 2 , a 2 ± a 1 < 1 , ∣ a 2 ∣ < 1 } , C = { ( ρ 1 , ρ 2 ) : ρ 1 2 < 1 + ρ 2 2 , ∣ ρ 1 ∣ < 1 , ∣ ρ 2 ∣ < 1 } . \mathscr A=\{(a_1,a_2):a_2<-\frac14a_1^2,a_2\pm a_1<1,|a_2|<1 \},\\ \mathscr C=\{(\rho_1,\rho_2):\rho_1^2<\frac{1+\rho_2}{2},|\rho_1|<1,|\rho_2|<1 \}. A={(a1​,a2​):a2​<−41​a12​,a2​±a1​<1,∣a2​∣<1},C={(ρ1​,ρ2​):ρ12​<21+ρ2​​,∣ρ1​∣<1,∣ρ2​∣<1}.

5. A R ( 2 ) {\rm AR}(2) AR(2)序列的譜密度為

   f ( λ ) = σ 2 2 π ∣ 1 − a 1 e i λ − a 2 e 2 i λ ∣ 2 . f(\lambda)=\frac{\sigma^2}{2\pi|1-a_1e^{{\rm i}\lambda}-a_2e^{2{\rm i}\lambda}|^2}. f(λ)=2π∣1−a1​eiλ−a2​e2iλ∣2σ2​.

   如果存在一對共轭複根 ρ e i λ 0 \rho e^{{\rm i}\lambda_0} ρeiλ0​，則譜密度在 λ = λ 0 \lambda=\lambda_0 λ=λ0​處表現出峰值。