互資訊的了解

定義

百度百科的定義是這樣的：

互資訊(Mutual Information)是資訊論裡一種有用的資訊度量，它可以看成是一個随機變量中包含的關于另一個随機變量的資訊量，或者說是一個随機變量由于已知另一個随機變量而減少的不肯定性。

我試圖用人話翻譯一下：

你回家吃飯，并不知道老媽今天做什麼菜，這時候你老爹突然告訴你：“媽媽說她決定要減肥。”

你拍腦子一想：那她至少不會做很油膩的菜式了。

老媽做什麼菜是随機的，她決定要不要減肥也是随機的，但是後者的資訊讓你極大的減少了對前者的不确定性，而這兩件資訊互相依賴的程度，就是它們之間的互資訊。

數學上的解釋

随機變量 X，另一個随機變量 Y，他們之間的互資訊是：

I(X; Y) = H(X) - H(X | Y)

H(X) 是X的資訊熵

H(Y) 是Y的資訊熵

H(X | Y) 是已知Y的條件下，X的資訊熵

用圖來表示是這個樣：

兩個離散随機變量 X 和 Y 的互資訊可以定義為

I ( X ; Y ) = ∫ Y ∫ X p ( x , y ) l o g ( p ( x , y ) p ( x ) p ( y ) ) I(X;Y) = \int_Y\int_X p(x,y) log \left( \frac{p(x,y)}{p(x) p(y)}\right) I(X;Y)=∫Y​∫X​p(x,y)log(p(x)p(y)p(x,y)​)

當 X 和 Y 獨立時，p(x,y) = p(x) p(y)，是以：

l o g ( p ( x , y ) p ( x ) p ( y ) ) = l o g 1 = 0 log \left( \frac{p(x,y)}{p(x) p(y)}\right)=log 1 = 0 log(p(x)p(y)p(x,y)​)=log1=0

【注】：

1，互資訊一定是對稱且非負的。

2，MI可以解答非線性的關系，皮爾遜相關系數是線性的。