发布时间 : 星期三 文章对称信道容量的求解更新完毕开始阅读
课程设计说明书 第1页
1.绪论
通信系统一般由信源、信道和信宿三部分组成,信道是信息传递的通道,承担信息的传输和储存的任务,是构成通信系统的重要组成部分。信道容量是指信道能够传输信息量的大小，我们经常需要考虑如何去计算信道容量，这也是香农信息论一个很重要的方面。信道的种类有多种，信道容量也是一个非常复杂的问题。
2.信道容量概念
信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性是已知的，这样信道就可以用抽象的数学模型来描述。在信息论中，信道通常表示成：{X, P(Y|X), Y}，即信道输入随机变量X、输出随机变量Y以及在输入已知的情况下，输出的条件概率分布 P(Y|X)。
图1信道容量
根据信道的统计特性是否随时间变化分为：
①恒参信道（平稳信道）：信道的统计特性不随时间变化。卫星通信信道在某种意义下可以近似为恒参信道。
②随参信道（非平稳信道）：信道的统计特性随时间变化。如短波通信中，其信道可看成随参信道 。
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对
课程设计说明书 第2页
不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。
信道容量有时也表示为单位时间内可传输的二进制位的位数（称信道的数据传输速率，位速率），以位/秒（b/s）形式予以表示，简记为bps。
通信的目的是为了获得信息，为度量信息的多少（信息量），我们用到了熵这个概念。在信号通过信道传输的过程中，我们涉及到了两个熵，
发射端处信源熵——即发端信源的不确定度，接收端处在接收信号条件下的发端信源熵——即在接收信号条件下发端信源的不确定度。接收到了信号，不确定度小了，我们也就在一定程度上消除了发端信源的不确定性，也就是在一定程度上获得了发端信源的信息，这部分信息的获取是通过信道传输信号带来的。如果在通信的过程中熵不能够减小（不确定度减小）的话，也就没有通信的必要了。最理想的情况就是在接收信号条件下信源熵变为0（不确定度完全消失），这时，发端信息完全得到。
通信信道，发端 X，收端 Y。从信息传输的角度看，通过信道传输了 I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后对于X的不确定度的变化)。 I该值与两个概率有关， p(x),p(y|x)，特定信道转移概率一定，那么在所有 p(x) 分布中，max I(X;Y)就是该信道的信道容量C(互信息的上凸性）。
3.单用户信道容量
信道是由输入集A、输出集B和条件概率P(y│x)，y∈B,x∈A所规定的。当B是离散集时，归一性要求就是:
当B是连续集时，P(y│x)应理解为条件概率密度，上式就成为积分形式。如A和B都是离散集，信道所传送的信息率（每符号）就是输出符号和输入符号之间的互信息:
错误！未找到引用源。
互信息与P(y│x)有关，也与输入符号的概率P(x)有关，后者可由改变编码器来变动。若能改变P(x)使I(X;Y)最大，就能充分利用信道传输信息的能力，这个最大值就称为单用户信道容量C，即:
课程设计说明书 第3页
式中∑为所有允许的输入符号概率分布的集。
当A或B是连续集时，相应的概率应理解为概率密度，求和号应改为积分，其他都相仿。
4.多用户信道容量
多用户信道容量问题要复杂一些。以二址接入信道为例， 这种信道有两个输入 X2∈A1和X2∈A2，分别与两个信源联结,发送信息率分别为R1和R2；有一个输出Y,用它去提取这两个信源的信息。若信道的条件概率为P(y│x1,x2)，则
式中I(X1;Y│X2)为条件互信息，就是当X2已确知时从Y中获得的关于X1的信息； I（X2;Y│X1）的意义相仿；I(X1,X2;Y)为无条件互信息，就是从Y中获得的关于X1和X2的信息。E1和 E2分别为所有允许的输入符号的概率分布P1(x1)和P2(x2)的集。
当X1和X2相互独立时,这些条件互信息要比相应的无条件互信息大,因此两个信息率R1和R2的上界必为上面三个式子所限制。若调整P1(x1)和P2(x2)能使这些互信息都达到最大，就得到式中的C1，C2，C0。
因此R1和R2的范围将是一个截角四边形区域,其外围封闭线就是二址接入信道的容量上界。更一般的多用户的情况还要复杂。
要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错
课程设计说明书 第4页
误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，只能得到容量的上界和下界，确切容量尚不易规定。
5.信道的容量计算
5.1离散单符号信道及其信道容量
信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道就是离散单符号信道。 由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用传递概率来描述。 信道传递概率通常称为前向概率。它是由于信道噪声引起的，所以通常用它描述信道噪声的特性。 有时把p(x)称为输入符号的先验概率。而对应的把p(x|y)称为输入符号的后验（后向）概率。
平均互信息 I(X;Y) 是接收到输出符号集Y后所获得的关于输入符号集X的信息量。信源的不确定性为H(X)，由于干扰的存在，接收端收到 Y后对信源仍然存在的不确定性为H(X|Y)，又称为信道疑义度。信宿所消除的关于信源的不确定性，也就是获得的关于信源的信息为 I(X;Y)，它是平均意义上每传送一个符号流经信道的信息量，从这个意义上来说，平均互信息又称为信道的信息传输率，通常用 R 表示。有时我们所关心的是信道在单位时间内平均传输的信息量。如果平均传输一个符号为t秒，则信道平均每秒钟传输的信息量为Rt一般称为信息传输速率。
对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量，而相应的输入概率分布称为最佳输入分布。
信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。
要使信道容量有确切的含义，尚须证明相应的编码定理，就是说当信息率低于信道容量时必存在一种编码方法，使之在信道中传输而不发生错误或错误可任意逼近于零。已经过严格证明的只有无记忆单用户信道和多用户信道中的某些多址接入信道和退化型广播信道。对某些有记忆信道，