示性函數
示性函數，顧名思義，是表示自變量性态的一個函數。作為一個使用、表達都很簡便的函數，它在機率論與數理統計以及實變函數中被廣泛運用，但目前市面上的一些機率統計教材上卻對示性函數避而不談，這裡就為大家介紹一下示性函數以及它的一些性質與用途。
示性函數的定義
I A ( ω ) = { 0 ω ∉ A 1 ω ∈ A I_A(\omega)=\begin{cases}\\ 0&\omega \notin A\\ 1&\omega \in A\\ \end{cases} IA(ω)={01ω∈/Aω∈A
可以看見，示性函數的函數值隻取0或1，其下标 A A A表示一個集合，括号内表示自變量
在機率統計中，示性函數可以寫作如此
I { X ∈ A } = { 0 X ∉ A 1 X ∈ A I_{\left\{ X\in A \right\}}=\begin{cases}\\ 0&X \notin A\\ 1&X \in A\\ \end{cases} I{X∈A}={01X∈/AX∈A
這裡的 X X X是一個随機變量，括号可以省略（自變量為 ω \omega ω樣本點）
也就是說此時的示性函數是關于随機變量 X X X的一個函數，也是一個随機變量，不妨記
Y = I { X ∈ A } Y=I_{\left\{ X\in A \right\}} Y=I{X∈A}
既然示性函數也是個随機變量，那我們可以對它求期望，它的期望是
E Y = E I { X ∈ A } = 1 ⋅ P { X ∈ A } + 0 ⋅ P { X ∉ A } = P { X ∈ A } EY=EI_{\left\{ X\in A \right\}}=1\cdot P{\left\{ X\in A \right\}}+0\cdot P{\left\{ X\notin A \right\}}=P{\left\{ X\in A \right\}} EY=EI{X∈A}=1⋅P{X∈A}+0⋅P{X∈/A}=P{X∈A}
也就是說，示性函數的期望就等于它下标事件發生的機率，這是示性函數的一個重要性質。
機率不等式
機率論中有着許許多多重要的不等式，其中包括著名的切比雪夫不等式，但一般教材上給出的證明方法較為繁瑣，通常都要分為連續型、離散型來分别證明，但如果我們靈活運用示性函數，可以給出更為巧妙友善的證明方法。
切比雪夫不等式
P { ∣ X − E X ∣ ≥ ϵ } ≤ V a r ( X ) ϵ 2 P{\{ | X-EX| \ge \epsilon \}}\le \dfrac{Var(X)}{{\epsilon}^2} P{∣X−EX∣≥ϵ}≤ϵ2Var(X)
證 明 證明 證明
ϵ 2 I { ∣ X − E X ∣ ≥ ϵ } ≤ ∣ X − E X ∣ 2 I { ∣ X − E X ∣ ≥ ϵ } ≤ ∣ X − E X ∣ 2 {\epsilon}^2I_{\{ | X-EX| \ge \epsilon \}}\le|X-EX|^2I_{\{ | X-EX| \ge \epsilon \}}\le|X-EX|^2 ϵ2I{∣X−EX∣≥ϵ}≤∣X−EX∣2I{∣X−EX∣≥ϵ}≤∣X−EX∣2
對 上 式 左 端 和 右 端 同 時 取 期 望 ， 有 對上式左端和右端同時取期望，有 對上式左端和右端同時取期望，有
ϵ 2 E I { ∣ X − E X ∣ ≥ ϵ } ≤ E ∣ X − E X ∣ 2 ϵ 2 P { ∣ X − E X ∣ ≥ ϵ } ≤ V a r ( X ) {\epsilon}^2EI_{\{ | X-EX| \ge \epsilon \}}\le E|X-EX|^2 \\{\epsilon}^2P{\{ | X-EX| \ge \epsilon \}}\le Var(X) ϵ2EI{∣X−EX∣≥ϵ}≤E∣X−EX∣2ϵ2P{∣X−EX∣≥ϵ}≤Var(X)
移 項 ， 有 切 比 雪 夫 不 等 式 成 立 移項，有切比雪夫不等式成立 移項，有切比雪夫不等式成立
馬爾可夫不等式
馬 爾 可 夫 不 等 式 是 概 率 論 中 的 另 一 重 要 不 等 式 ， 是 切 比 雪 夫 不 等 式 的 一 般 形 式 馬爾可夫不等式是機率論中的另一重要不等式，是切比雪夫不等式的一般形式 馬爾可夫不等式是機率論中的另一重要不等式，是切比雪夫不等式的一般形式
若 僅 取 非 負 值 的 随 機 變 量 X 其 n 階 矩 存 在 ， 則 有 下 述 不 等 式 成 立 若僅取非負值的随機變量X其n階矩存在，則有下述不等式成立 若僅取非負值的随機變量X其n階矩存在，則有下述不等式成立
P { X ≥ ϵ } ≤ E X n ϵ n P{\{ X\ge \epsilon \} \le \dfrac{EX^n}{ {\epsilon}^n}} P{X≥ϵ}≤ϵnEXn
證 明 證明 證明
ϵ n I { X ≥ ϵ } ≤ X n I { X ≥ ϵ } ≤ X n {\epsilon}^nI_{\{ X \ge \epsilon \}}\le X^n I{\{ X\ge \epsilon \}}\le X^n ϵnI{X≥ϵ}≤XnI{X≥ϵ}≤Xn
左 右 端 取 期 望 立 即 得 證 左右端取期望立即得證 左右端取期望立即得證
當 n = 2 時 ， 就 是 切 比 雪 夫 不 等 式 當n=2時，就是切比雪夫不等式 當n=2時，就是切比雪夫不等式
推廣的馬爾可夫不等式
這 一 結 論 是 茆 詩 松 老 師 書 上 的 一 道 習 題 ， 是 一 個 非 常 一 般 化 的 結 論 這一結論是茆詩松老師書上的一道習題，是一個非常一般化的結論 這一結論是茆詩松老師書上的一道習題，是一個非常一般化的結論
X 是 僅 取 非 負 值 的 随 機 變 量 ， f 是 單 調 非 減 的 正 值 函 數 ， 則 有 下 述 不 等 式 成 立 X是僅取非負值的随機變量，f是單調非減的正值函數，則有下述不等式成立 X是僅取非負值的随機變量，f是單調非減的正值函數，則有下述不等式成立
P { X ≥ ϵ } ≤ E f ( X ) f ( ϵ ) P{\{ X\ge \epsilon \} \le \dfrac{Ef(X)}{ f(\epsilon)}} P{X≥ϵ}≤f(ϵ)Ef(X)
證 明 證明 證明
f ( ϵ ) I { X ≥ ϵ } ≤ f ( X ) I { X ≥ ϵ } ≤ f ( X ) f(\epsilon)I_{\{ X \ge \epsilon \}}\le f(X)I_{\{ X \ge \epsilon \}}\le f(X) f(ϵ)I{X≥ϵ}≤f(X)I{X≥ϵ}≤f(X)
左 右 端 取 期 望 立 即 得 證 左右端取期望立即得證 左右端取期望立即得證
令 f ( x ) = x n , 就 是 馬 爾 可 夫 不 等 式 令f(x)=x^n,就是馬爾可夫不等式 令f(x)=xn,就是馬爾可夫不等式
另一個例子
A ， B 是 兩 個 事 件 ， 試 證 明 ∣ P ( A B ) − P ( A ) P ( B ) ∣ ≤ 1 4 A，B是兩個事件，試證明|P(AB)-P(A)P(B)|\le \dfrac{1}{4} A，B是兩個事件，試證明∣P(AB)−P(A)P(B)∣≤41
證 明 證明 證明
記 X = I A , Y = I B 則 ∣ P ( A B ) − P ( A ) P ( B ) ∣ = ∣ E X Y − E X E Y ∣ = ∣ C o v ( X , Y ) ∣ = ∣ ρ ( X , Y ) ∣ V a r ( X ) V a r ( Y ) 而 V a r ( X ) = E X 2 − ( E X ) 2 = P ( A ) − ( P ( A ) ) 2 ≤ 1 4 同 理 V a r ( Y ) ≤ 1 4 又 ∣ ρ ( X , Y ) ∣ ≤ 1 故 ∣ P ( A B ) − P ( A ) P ( B ) ∣ ≤ 1 4 記X=I_A,Y=I_B \\則|P(AB)-P(A)P(B)|=|EXY-EXEY|=|Cov(X,Y)|=|\rho(X,Y)|\sqrt{Var(X)Var(Y)} \\而Var(X)=EX^2-(EX)^2=P(A)-(P(A))^2\le\dfrac{1}{4} \\同理Var(Y)\le \dfrac{1}{4} \\又|\rho(X,Y)|\le1 \\故|P(AB)-P(A)P(B)|\le \dfrac{1}{4} 記X=IA,Y=IB則∣P(AB)−P(A)P(B)∣=∣EXY−EXEY∣=∣Cov(X,Y)∣=∣ρ(X,Y)∣Var(X)Var(Y)
而Var(X)=EX2−(EX)2=P(A)−(P(A))2≤41同理Var(Y)≤41又∣ρ(X,Y)∣≤1故∣P(AB)−P(A)P(B)∣≤41