发布时间 : 星期四 文章武汉理工信息论编码复习资料更新完毕开始阅读
67 P52?52??8.066?10
因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 P?A??1?1.24?10?68 52?可得，任一特定排列所给出的信息量为
I?A???log2P?A??log252??225.58比特 ?67.91哈特
（1） 设事件B为从中抽取13张牌，所给出的点数都不同。
13
扑克牌52张中抽取13张，不考虑其排列顺序，共有C52种可能的组合。而扑克牌中
每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为4。因为
13牌都是充分洗乱的，所以在这C52种组合中所有的点数都不相同的事件都是等概率发生的。
13所以
413413?1339?? P?B??13??1.0568?10?4
C5252?则事件B发生所得到的信息量为
413 I?B???logP?B???log213?13.208 比特
C52 ?3.976 哈特
2.6.1 （原2.6） 设随机变量X?{x1,x2}?{0,1}和Y?{y1,y2}?{0,1}的联合概率空间为
?XY??(x1,y1)(x1,y2)(x2,y1)(x2,y2)? ?P???18?383818??XY??定义一个新随机变量Z?X?Y（普通乘积）。
（1）计算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ)；
（2）计算条件熵H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、H(X|YZ)、H(Y|XZ)以及H(Z|XY)；
（3）计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及I(X;Z|Y)；
131 解 （1）p?x?0??p?x?0,y?0??p?x?0,y?1????
882311 p?x?1??p?x?1,y?0??p?x?1,y?1????
882 H?X????P?xi?logP?xi??1
i131?? 882311 p?y?1??p?x?0,y?1??p?x?1,y?1????
882 H?Y????pyjlogpyj?1 bit/symbol
p?y?0??p?x?0,y?0??p?x?1,y?0??j????
Z?XY的概率分布如下
??z?0(0?0,0?1,1?0)z?1(1?Z???P(Z)??? 7(? 1 ?3 ?3) 1???8888?821?)? ???711??7H(Z)???p(zk)???log?log)??0.544bit/symbol
888??8K由p(xz)?p(x)p(zx)得
p(x?0,z?0)?p(x?0)p(z?0x?0)?1 2p(x?0,z?1)?p(x?0)p(z?1x?0)?03p(x?1,z?0)?p(x?1)p(z?0x?1)?p(x?1)p(y?0x?1)?p(x?1,y?0)?
81p(x?1,z?1)?p(x?1)p(z?1x?1)?p(x?1)p(y?1x?1)?p(x?1,y?1)?813311??1H(XZ)????p(xizk)???log?log?log??1.406bt/symb
28888??2ik由对称性可得H(YZ)??1.406bt/symbol
由p(xyz)?p(xy)p(zxy),又p(zxy)要么等于，要么等于10.
p(x?0,y?0,z?0)?p(x?0,y?0)p(z?0x?0,y?0)?p(x?0,y?0)?1 8p(x?0,y?0,z?1)?p(x?0,y?0)p(z?1x?0,y?0)?0p(x?0,y?1,z?0)?p(x?0,y?1)p(z?0x?0,y?1)?p(x?0,y?1)?p(x?0,y?1,z?1)?p(x?0,y?1)p(z?1x?0,y?1)?03p(x?1,y?0,z?0)?p(x?1,y?0)p(z?0x?1,y?0)?p(x?1,y?0)?
8p(x?1,y?0,z?1)?p(x?1,y?1)p(z?1x?1,y?0)?0p(x?1,y?1,z?0)?p(x?1,y?1)p(z?0x?1,y?1)?0p(x?1,y?1,z?1)?p(x?1,y?1)p(z?1x?1,y?1)?p(x?1,y?1)??H(XYZ)?????p(xiyjzk)?log2p(xiyjzk)ijk38181333311??1???log?log?log?log??1.811bit/symbol8888888??8（2）
H(XY)????p(xiyj)logp(xiyj)ij1333311??1??log?log?log?log??1.811bit/symbol8888888??8H(X|Y)=H(XY)-H(Y)=1.811-1=0.811bit/symb
H(Y|X)=H(XY)-H(X)=1.811-1=0.811bit/symb
H(X|Z) = H(XZ)-H(Z)=1.406-0.544=0.862bit/symb H(Z|X) = H(XZ)-H(X)=1.406-1=0.406bit/symb
H(Y|Z) = H(YZ)-H(Z)=1.406-0.544=0.862bit/symb H(Z|Y) = H(YZ)-H(Y)=1.406-1=0.406bit/symb
H(X|YZ) = H(XYZ)-H(YZ)=1.811-1.406=0.405bit/symb H(Y|XZ) = H(XYZ)-H(XZ)=1.811-1.406=0.405bit/symb H(Z|XY) = H(XYZ)-H(XY)=1.811-1.811=0 bit/symb
(3)
I?X:Y??H?X??H?X/Y??1?0.811?0.189bit/symol I?X:Z??H?X??H?X/Z??1?0.862?0.138bit/symol I?Y:Z??H?Y??H?Y/Z??1?0.862?0.138bit/symol
I?X:Y/Z??H?X/Z??H?X/YZ??0.862?0.405?0.457bit/symol I?Y:Z/X??H?Y/X??H?Y/XZ??0.811?0.405?0.406bit/symol
I?X:Z/Y??H?X/Y??H?X/YZ??0.811?0.405?0.406bit/symol
2.6.2 （原2.10） 任意三个离散随机变量X、Y和Z，求证： (1) H(XYZ)?H(XZ)?H(Y|X)?I(Z;Y|X) 答案：王虹 证明：
（1） 方法一：利用定义证明。 左边=H?X,Y,Z?
=?ijiXYZ???p?xyz?logp?xyz?
iji??p?xyz?logp?xz?????p?xyz?logp?y|x?
p?z|xy? ????p?xyz?logp?z|x?p?z|xy??? = ????p?xyz?log?p?xz??p?y|x???
p?z|x????p?z|xy?p?xy?? =????p?xyz?log?p?xz??p?y|x???
????pz|xpxy??????p?xyz? =????p?xyz?log?p?xz??p?y|x???
??????pz|xpxpy|x??????p?xyz? =????p?xyz?log?p?xz??p?y|x???
??????pz|xpxpy|x??????p?xyz? =????p?xyz?log?p?xz??p?y|x???
????pz|xpy|x???? =????p?xyz?logp?xyz?
=
右边=H?X,Z??H?Y|X??I?Z;Y|X?
??XiijiiiijijiYZXYZiijjiXYZiiiijijiiiiiXYZiiiijijijiiiiiXYZiiijijiijiiiiiXYZiiijiijiijiiiiiXYZiiijiijiijiiiiiXYZiijiijiijiXYZ 得证
方法二：利用性质证明。 因为
I?X；Y??H?X??H?X|Y??H?Y??H?Y|X? 所以
I?Z；Y|X??H?Y|X??H?Y|XZ? 可得
H?X,Y,Z??H?X,Z??H?Y|XZ?