信息论概念集合

通信的目的：传递信息

通信的基本任务：在接收端将发送端发出的消息从形式上恢复出来

信息量的三个基本要求：概率的函数，满足可加性，概率值越小信息量越大

信息量：获得信息前后不确定性的消除量

H(X/Y)≤H(X)：具有某种相关性的两随机变量，一个随机变量的出现总是有助于降低另一个随机变量的不确定性

先验概率p(x)：信源符号的概率

后验概率p(x/y)：接收端收到的符号为yj时，发送端发送的符号为xi的概率

转移概率p(y/x)：发送端发送的符号为xi时，接收端收到的符号为yj的概率

p(x/y)=p(x)p(y/x)/p(y)

离散无记忆信道：信道输出的每个符号只与当前输入的符号有关

对称信道：输入符号集和输出符号集相同。对称信道的H(X/Y)仅由信道的特性，即转移概率决定。此时若输入等概，则输出也等概，p(y/x)=p(x/y)

互信息量I(xi;yj)：接收端收到的符号为yj时，有关符号xi的不确定性的消除量

若p(x/y)＜p(x)，则yj的出现非但不能提供任何有关xi的信息，反而会增加不确定性

若p(x/y)＞p(x)，则yj的出现提供了xi的部分信息，消除了部分不确定性

平均互信息量I(X;Y)必定≥0

一个x对多个y：无噪信道，H(X/Y)=0

一个y对多个x：无损信道，H(Y/X)=0

信道容量C=max{I(X;Y)×RS}=H(X)×RS

达到信道容量时，输入或输出分布必须达到最佳分布（即等概分布）

可以传递连续信源的原因：I(X;Y)=h(X)-h(X/Y)

香农定理：C=Wlog2(1+S/N)

重要结论：

1.当信道容量C一定时，信道的带宽W和信噪比SNR可以互换。据此，在通信系统设计中，根据不同的条件和应用环境，可以通过带宽W的增加，换取SNR要求的降低

2.在有噪声的场合，W趋于无穷大时，信道容量趋近于1.44S/N0

比特能量趋近于-1.59dB

信源编码：对从信源中获得的消息进行某种变换，以提高传输效率

信源编码的基本做法分类：

1.去除信息中的冗余度（DM编码）

2.编码后的符号具有近似等概的分布特性

3.采用不等长编码，出现概率大的符号用较短的码元序列，出现概率小的符号用较长的码元序列

4.允许一定失真的条件下，如何实现高效编码（典型序列编码）

离散无记忆信源：信源输出符号序列，每个符号间彼此统计独立

成功编码的前提 / 码的唯一可译性：DnJ≥LJ，即码组可能形成的码字的个数≥不同符号分组的个数

等长编码速率R=nJlog2D/J

不等长编码速率R=nlog2D，n是平均码长

编码效率η=H(S)/R

随着码组位数J的增大，每个信源符号组中所包含的各个不同符号的比例趋于各个符号出现的概率，相应地每个码组所包含的信息量趋于相同

典型序列：序列空间中的一个高概率集，且每个典型序列出现的概率接近相同

在允许传输一定失真的场合，只对典型序列进行编码和传输，从而大大缩短所需的码字长度，有效地提高传输的效率

不等长编码定理：

平均码长的范围是[H(S)/log2D，1+H(S)/log2D)

给定P( C )，PE受P(R/C),D的影响

最佳译码：PE最小

一般情况下，

最佳译码条件：最大后验译码准则：收到rj时。取p(ci/rj)矩阵同一列最大的p(ci/rj)对应的ci

信源等概，离散无记忆对称信道情况下，

最佳译码条件：最大似然译码准则：收到rj时。取p(rj/ci)矩阵同一行最大的p(ci/rj)对应的ci

进一步减少误码率的方法：

1.改变传输的条件，从而改变信道转移概率矩阵中的参数（最大似然译码准则）

2.改变信息发送的码字长度（信道编码）

H(X/Y)：收到码字后仍存在的不确定性

费诺不等式：H(C/R)≤PElog(M-1)+H(PE)

不确定性H(C/R)由两部分组成：判决正确与否的不确定性（H(PE)），出错时导致的不确定性

信道编码：增加不携带信息的监督位，增强码的检错和纠错能力，但会增大码字的冗余度，降低传输效率

信息传输速率RI可达：给定离散无记忆信道，若对任意的ε＞0和编码速率RI,当码字的长度N足够大时，可使PE＜ε（误码率足够小）

信道编码定理：给定容量为CN的离散无记忆信道，若RI＜CN，则RI是可达的

1.要信息可靠地传输，要求满足RI≤CN这一基本条件

2.编码时直须满足条件RI≤CN，就可以通过某种方式同时增加信息位和码字的长度，在保持RI不变的情况下，降低误码的概率