信息论：信息量的计算

香农定义，一个事件包含信息量的大小由这个事件消除了多少不确定性决定

计算得出的信息称为 Shannon information content

信息量在某些情况下是可加的，比如：

得知一个六面骰子投掷三次的结果所包含的信息量，是得知投掷一次的结果的三倍

用数学表达的话，可以假设可能的结果为 r

投掷一次骰子可能产生的结果有 6 种，即 r = 6

投掷三次骰子可能产生的结果有 6 3 6^3 63 种，即 r = 216

可以得到：

l o g b 6 3 = 3 ⋅ l o g b 6 log_b6^3=3\cdot log_b6 logb​63=3⋅logb​6

如此一来，我们便得到了信息量的表达式：

其中 r 是 U 可能产生的结果的数量

其中 b 在这个式子中并不关键，它只决定信息的单位，一般为 bit 或 nat

如果将几个不相关的事件视为一个事件，则这个事件包含的信息是这些不相关事件所包含信息的和

我们将一个事件 X 发生的概率定义为 p ( X ) p(X) p(X) 或 p x p_x px​

则我们得知这个事件发生时获得的信息量为：

当两个事件 X 和 Y 不相关时：

将其扩展到多个不相关的事件，我们可以得到：

其中 p i p_i pi​ 是事件 i 发生的概率

这里我们举一个例子来方便理解：

图中是一顶帽子，里面有三颗黑球和一颗白球，我们从中随机抽取一个球，获得的信息量如下：

1. 抽到白球

抽到白球的概率是 1 / 4 1/4 1/4，因此获得的信息量为 l o g 2 1 1 / 4 = 2 b i t s log_2\frac{1}{1/4} = 2 bits log2​1/41​=2bits

2. 抽到黑球

抽到黑球的概率是 3 / 4 3/4 3/4，因此获得的信息量为 l o g 2 1 3 / 4 = 0.415 b i t s log_2\frac{1}{3/4} = 0.415 bits log2​3/41​=0.415bits

信息总量为二者之和，为

白球较少，抽到白球的概率小，因此抽取白球时获得的信息量更多