发布时间 : 星期六 文章信息论与编码课后习题答案更新完毕开始阅读
信息论与编码课后习题答案
第二章
2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … , 12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。 解：
(1)
11111p(xi)?????6666181I(xi)??logp(xi)??log?4.170 bit18(2)
111p(xi)???66361I(xi)??logp(xi)??log?5.170 bit36(3)
两个点数的排列如下： 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 51 52 53 54 61 62 63 64
共有21种组合：
15 25 35 45 55 65 16 26 36 46 56 66
其中11，22，33，44，55，66的概率是其他15个组合的概率是2??111?? 6636111? 66181111??H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol
361818??36i(4)
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
23456789101112??X???1?1111151511????P(X)?????3618129366369121836??H(X)???p(xi)logp(xi)i111111115511?? ???2?log?2?log?2?log?2?log?2?log?log?361818121299363666??36 ?3.274 bit/symbol(5)
1111p(xi)???11?6636I(xi)??logp(xi)??log11?1.710 bit36
2.4
2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r?xi,yj??rij为
?r11r12??r21r22?r?31r32r13??7/241/240????r23???1/241/41/24?
?r33?1/247/24???0?（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：联合概率p(xi,yj)为 Y X x1 x2 x3 y1 y2 1/24 1/4 1/24 y3 0 1/24 7/24 H(X,Y)??p(xi,yj)log2ij7/24 1/24 0 1p(xi,yj)?2?72411log2?4?log224?log24247244
=2.3bit/符号
X概率分布 X P x1 8/24 x2 8/24 x3 8/24 1H(Y)?3?log23?1.58bit/符号
3H(X|Y)?H(X,Y)?H(Y)?2.3?1.58 Y概率分布是 =0.72bit/符号 Y P y1 8/24 y2 8/24 y3 8/24 2.15
P(j/i)=
2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的
出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
（3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)?0.3log2P(黑|白)=P(黑)
0.70.3黑0.3白0.71010?0.7log2?0.8813bit/符号 37P(白|白)＝P(白)
P(黑|黑)＝P(黑)
P(白|黑)＝P(白)
（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）
H?(X)?H(X2|X1)??p(xi,yj)log2ij1p(xi,yj)?0.9143?0.7log2?0.8?0.3log210.8111 ?0.0857?0.7log2?0.2?0.3log20.91430.08570.2＝0.512bit/符号
2.25 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。
(1) 求符号的平均熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。
解： (1)
133??1H(X)???p(xi)logp(xi)???log?log??0.811 bit/symbol
444??4i(2)