发布时间 : 星期六 文章信息论与编码习题参考答桉1更新完毕开始阅读
2002 Copyright EE Lab508
(2)p(X?0Y?0)?pxy(00)?pxy(01)py(1)2pxy(00)py(0)?1/81/2?14;pxy(10)?14pxy(10)py(0)?3/81/2?34;pxy(01)??23/81/2?34;pxy(11)?pxy(11)py(1)?1/81/2?.?H(XY)???i?1?j?1p(xiyj)logp(xiyj)??pxy(00)logpxy(00)?pxy(01)logpxy(01)?pxy(10)logpxy(10)?pxy(11)logpxy(11)??(18?log14?38?log34?38?log34?18?log14)?0.811bit/symble???I(X;Y)?H(X)?H(XY)?H(Y)?H(YX)且H(X)?H(Y)?H(YX)?H(XY)?0.811bit/symble同理:2222H(XZ)????p(xizk)logp(xizk)????p(xizk)logp(xizk)p(zk)i?1k?1i?1k?1???pxz(00)logpxz(00)?pxz(01)logpxz(01)?pxz(10)logpxz(10)?pxz(11)logpxz(11)???(12?log1/27/82?0?238?log3/87/8?18?log1/81/82)?0.862 bit/symble2H(ZX)????p(zkxi)logp(zkxi)????p(zkxi)logp(zkxi)p(xi)k?1i?1k?1i?1???pzx(00)logpzx(00)?pzx(01)logpzx(01)?pzx(10)logpzx(10)?pzx(11)logpzx(11)???(12?log1/21/2?0?38?log3/81/2?18?log1/81/2)?0.406 bit/symble由X、Y、Z的概率: H(YZ)?H(XZ)?0.862 bit/symble H(ZY)?H(ZX)?0.406 bit/symble?pxyz(001)?pxyz(101)?pxyz(011)?pxyz(110)?0222222?H(XYZ)???i?1??j?1k?1p(xiyjzk)logp(xiyjzk)???i?1??j?1k?1p(xiyjzk)logp(xiyjzk)p(yjzk)?pxyz(111)logpxyz(111)pyz(11))??(pxyz(000)logpxyz(000)pyz(00)?pxyz(010)logpxyz(010)pyz(10)?pxyz(100)logpxyz(100)pyz(00)11/833/833/811/8??(log?log?log?log)?0.406 bit/symble81/283/881/281/8H(YXZ)?H(XYZ)?0.406 bit/symble222222?H(ZXY)???i?1??j?1k?1p(xiyjzk)logp(zkxiyj)???i?1??j?1k?1p(xiyjzk)logp(xiyjzk)p(xiyj)?pxyz(111)logpxyz(111)pxy(11))??(pxyz(000)logpxyz(000)pxy(00)?pxyz(010)logpxyz(010)pxy(01)?pxyz(100)logpxyz(100)pxy(10)11/833/833/811/8??(log?log?log?log)?0 bit/symble81/883/883/881/8?H.F.
2002 Copyright EE Lab508
(3)由上:I(X;Y)?H(X)?H(XY)?1?0.811?0.189 bit/symble I(X;Z)?H(X)?H(XZ)?1?0.862?0.138 bit/symble I(Y;Z)?H(Y)?H(YZ)?1?0.862?0.138 bit/symble I(X;YZ)?H(XZ)?H(XYZ)?0.862?0.406?0.456 bit/symble I(Y;ZX)?H(YX)?H(YXZ)?0.811?0.406?0.405 bit/symble I(X;ZY)?H(XY)?H(XYZ)?0.811?0.406?0.405 bit/symble
2.4已知信源X的信源空间为
?X: a1 a2 a3 a4 [X?P]:??P(X): 0.1 0.3 0.2 0.4某信道的信道矩阵为：
b1 b2 b3 b4
a1?0.2?a20.6?a3?0.5?a4?0.10.30.20.20.30.10.10.10.40.4??0.1? 0.2??0.2?试求：
(1)“输入?3，输出b2的概率”；
(2)“输出b4的概率”；
(3)“收到b3条件下推测输入?2”的概率。 解：
(1)p(a3;b2)?p(a3)p(b2a3)?0.2?0.2?0.0444(2)p(b4)?(3)p(b3)??i?14p(aib4)?p(aib3)??i?14p(ai)p(b4ai) ?0.1?0.4?0.3?0.1?0.2?0.2?0.4?0.2?0.19p(ai)p(b3ai)?0.1?0.1?0.3?0.1?0.2?0.1?0.4?0.4?0.22?0.3?0.10.22?0.136?i?1?i?1 p(a2b3)?p(a2)p(b3a2)p(b3)
2.5已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P(A)为下列各值时，分别计算收到B后测A的后验概率应是多少。 (1) P(A)=10-2； (2) P(A)=1/32； (3) P(A)=0.5。
?H.F.
2002 Copyright EE Lab508
解：
由题意?I(A;B)?log?p(A)?10?2p(AB)p(A)?1?p(AB)?2p(A)?2时,p(AB)?2?10
p(A)?132时,p(AB)?116 p(A)?0.5时,p(AB)?1
2.6某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。以a4为例，试求： 消息 概率 码字 a1 1/4 000 a2 1/4 001 a3 1/8 010 a4 1/8 011 a5 1/16 100 a6 1/16 101 a7 1/16 110 a8 1/16 111
(1) 在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2) 在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)； (3) 在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)； (4) 从码字W4＝011中获取关于a4的信息量I(a4;011)。 解：
(1)I(a4;0)?log(2)I(a4;10)?logp(a40)p(a4)?log(1/8)/(1/4?1/4?1/8?1/8)1/8(1/8)/(1/8?1/8)(1/8)/(1/4?1/4?1/8?1/8)1(1/8)/(1/8?1/8)11/8?log8?3 bit?log43?0.415 bitp(a401)p(a40)?log?log3?1.585 bit(3)I(a4;101)?logp(a4011)p(a401)p(a4011)p(a4)
?log?log2?1 bit(4)I(a4;011)?log?log2.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0 ?H.F. n 2002 Copyright EE Lab508 解： 用数学归纳法证明当n?2时由:?1?p[P2]???pp??1?p???1?p??p2:p??2p?2p2???1?p??1?2p?2p2221?2p?2p??22p?2p??p2?2p?2p?12[1?(1?2p)],则1???1?p2???1kp[1?(1?2p)]??2?[1?(1?2p)]k假设n?k时公式成立?1k[1?(1?2p)]?[Pk?1]??21k?[1?(1?2p)]?2?1k?1[1?(1?2p)]? ??21k?1?[1?(1?2p)]?2?Pk?1?故Pn?1212[1?(1?2p)nk?1p??1?p?1??2?1k?1[1?(1?2p)]?2?[1?(1?2p)k?1]][1?(1?2p)]12[1?(1?2p)]?n?1?2p?1?limPn?limn??1212n??设输入信源空间则输出信源X0:p(X0?0)?a,p(X0?1)?1?a(其中0?a?1)X?:p(X??0)?p(X0?0)?p(X??0X0?0)?p(X0?0)?p(X??0X0?1)?12 p(X??1)??p(x?x0)?p(x?)(x0、x?取0或1)22?limI(X0;Xn)?n??2??i?12j?1p(X0iX?j)logp(X?jX0i)p(X?j)22???i?1j?1p(X0iX?j)logp(X?jX0i)p(X?j) ???i?1j?1p(X0iX?j)log1?0 ?H.F.