发布时间 : 星期三 文章信息论与编码课后习题答案更新完毕开始阅读
?1??3?p(xi)???????4??4?m100?m3100?m?10043?41.5?1.585m bit4100100?m
I(xi)??logp(xi)??log(3)
H(X100)?100H(X)?100?0.811?81.1 bit/symbol
2.26
P(i)= P(ij)=
H(IJ)=
第三章
?2?3?1?3.1 设二元对称信道的传递矩阵为?31?3?2??3?
(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布；
解： 1)
3311H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)ij322311111122 ??(?lg??lg??lg??lg)?log210433433433433 ?0.918 bit/symbol3211????0.583343433112p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.41674343H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolp(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?jI(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062 bit/symbol 2)
3.2
1122C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082 bit/symbol33331其最佳输入分布为p(xi)?
2某信源发送端有2个符号，xi，i＝1，2；p(xi)?a，每秒发出一个符号。接受端有3
种符号yi，j＝1，2，3，转移概率矩阵为P???1/21/20?。 ??1/21/41/4?（1） 计算接受端的平均不确定度；
（2） 计算由于噪声产生的不确定度H(Y|X)； （3） 计算信道容量。 解：P???1/21/20??
1/21/41/4??联合概率p(xi,yj) X Y y1 y2 y3 0 x1 x2 则Y的概率分布为 Y （1）H(Y)?a/2 (1?a)/2 a/2 (1?a)/4 (1?a)/4 y1 y2 y3 1/2 (1?a)/4 (1?a)/4 11+a41?a4 log2?log?log241?a41?a1116a1?a ?log2?log?log2241?a41?a1111a1?a ?log2?log16?log?log22441?a41?a311a1?a ?log2?log?log241?a241?a取2为底
311a1?aH(Y)?(?log2?log)bit 22241?a41?a1a11?a11?a11?a1??alog?log?log? （2）H(Y|X)???log?log?222224444??23(1?a)??alog2?log2
23?a?log2
2取2为底
H(Y|X)?3?abit 211a1?a??a?c?maxI(X;Y)?max?H(Y)?H(Y|X)??max?log2?log?log?p(xi)p(xi)p(xi)41?a241?a??2a11a1?a?(ln2?ln?ln)2241?a41?a取e为底
?a112a11?aa11?ln2??ln?(??) 2241?a41?a41?a1?a1a11?aa2?ln2??ln? 2222(1?a)41?a41?a111?a?ln2?ln 241?a= 0
1?a1? 1?a4?a?3 51311131?c??log2?log??log 92541?25454312531?log2?log?log 104162043153?log2?log?log2 10241015?log 24
3.7
(1)
条件概率 ，联合概率，后验概率
111p(y0)?? ， p(y1)?? ，p(y2)??
326
（2） H(Y/X)=
（3）
当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：
P(x1/y2)=，P(x2/y2)=，P(x3/y2)=
555113其中错误概率为： Pe=P(x1/y2)+P(x3/y2)=（4）平均错误概率为
（5）仍为0.733 （6）此信道不好
原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真
15?35?0.8