香农第二定理

之前得到的信道容量的表达式都是一个优化问题的解，在实际中是否存在编解码的方法可达到优化问题的解，香农第二定理即是解决可达性的问题。对信源进行编码，再采用具有统计特性的信道进行传输，信道有噪声，但通过最优化输入信号的分布，可采取某种编码方式，达到信道容量。

香农第二定理：证明编码方式的存在性（优化后得到信道容量的最大值，通过编解码器可无差错实现）

信道编码：对信道

的信道编码

1. 输入符号集合

   

2. 编码函数

   

   映射到长为n的信源的输入符号序列，每一个符号进行n次传输。即对每一个需要传输的符号在信道上用n次传输完成符号的传递。为每一个输入符号产生相应的信道编码码字为

   

   ，这些码字构成的集合称为码本
3. 解码函数

   

   确定性判决函数，将每一个可能的接收向量映射到一个输入符号。那这个过程对信道传输速率有什么要求呢？

   我们知道当等概分布时，熵最大。消息集合中每个消息所能携带的最大信息量

   

   比特，通过编解码过程这个消息是通过n次信道的传输完成传递的。故每次传输需要传输的R比特。

   （m,n）码的码率

   

   比特/传输

   df:一个信道的信道容量是该信道上所有可达码率的上确界。可达是指找到一个编码器对，使得当分组长度n趋近于无穷时，可获得码率为R的无差错传输。

   

   

   

   最后一个不等式是Fano不等式，

   

   ,从这个公式可以看出，若R>C，错误概率严格大于零，不可能进行无差错的传输。

信道编码定理：分为两步，第一步证明可达性，第二步证明定理的逆

第一个是被编码的消息的集合，第二个的X的分布是使互信息能达到信道容量分布的概率密度函数，这一步将任意需要编码的字符映射成长为N的码字，经信道传输后得到噪声污染后的Yn，最后译码输出。采用随机编码的方法，码字是由独立同分布的随机数生成器产生的，码字的集合称为码本，同时发给编码器和译码器。比如信源发出字符k，就查表得到K对应的随机生成的长度为n的序列的码字，送到信道进行传输。译码规则是如果码本中的某个字符形成的码字序列与接收到的码字序列Yn是联合典型序列，则译码收到的码字是该字符。

1. 可达性的证明

不失一般性，我们假设发送的字符为1，下面进行错误概率的推导

E1是Xn(1)与Yn不是联合典型序列，E2是其他任意Xn(i)与Yn是联合典型序列，后面的不等式推导依据联合典型性的性质。当n趋近于无穷大时，为了实现无错误传输的概率，即P(E)趋于零，我们希望

，所以可以找到码率为R的编码方法，使小于信道容量的码率可以达到，实现无差错传输。可达性得证。定理的逆是为了说明在无差错传输的情况下，码率必须小于等于C信道容量，

2.定理的逆

证明了任何一个使错误概率趋于零的方法，其R都不可能比C大。即对无差错传输的R定界。

信道符号随机变量假设等概率出现第一个等号成立，无差错传输故第三个等号成立，由此我们可知

定理的逆得证。等式中后面的等号成立需要通过调节X的输入分布达到信道容量的理论值