发布时间 : 星期四 文章信息论与编码习题参考答桉1更新完毕开始阅读
2002 Copyright EE Lab508
信息论与编码习题参考答案 第一章 单符号离散信源
1.1同时掷一对均匀的子，试求：
(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；
(5)“两个点数中至少有一个是1”的自信息量。 解：
样本空间：(1)P1?(2)P2?n1Nn2N??N?c6c6?6?6?36236136?I(a)??logP1?log18?4.17bit?I(a)??logP2?log36?5.17bit11
(3)信源空间：
X P(X) X P(x) X P(x) X P(x) X P(x) ?H(x)?15?236(1,1) 1/36 (2,2) 1/36 (3,3) 1/36 (4,4) 1/36 (5,5) 1/36 ?log362(1,2) 2/36 (2,3) 2/36 (3,4) 2/36 (4,5) 2/36 (5,6) 2/36 ?6?136(1,3) 2/36 (2,4) 2/36 (3,5) 2/36 (4,6) 2/36 (1,4) 2/36 (2,5) 2/36 (3,6) 2/36 (6,6) 1/36 (1,5) 2/36 (2,6) 2/36 (1,6) 2/36 ?log36?4.32bit
(4)信源空间： X P(x) 2 3 4 5 6 7 8 9 10 11 12 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 236?log36＋?log365436?log636362?636?log363?836?log364 ?H(x)?
?1036＋?log366?3.71bit(5) P3?
n3N?1136?I(a)??logP3?log3611?1.17bit
?H.F.
2002 Copyright EE Lab508
1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb）,但A，B不能同时落入同一方格内。 （1） 若仅有质点A，求A落入任一方格的平均信息量； （2） 若已知A已落入，求B落入的平均信息量； （3） 若A，B是可辨认的，求A，B落入的平均信息量。 解：
(1)?A落入任一格的概率48:P(ai)?148?I(ai)??logP(ai)?log48
?H(a)???P(ai)logP(ai)?log48?5.58biti?1(2)?在已知A落入任一格的情况下?I(bi)??logP(bi)?log4748,B落入任一格的概率是:P(bi)?147?H(b)???P(bi)logP(bi)?log47?5.55biti?1(3)AB同时落入某两格的概率?I(ABi)??logP(ABi)48?47是P(ABi)?148?147
H(ABi)???P(ABi?1i)logP(ABi)?log(48?47)?11.14bit1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解：
对于男士:回答“是”的信息量：回答“不是”的信息量平均每个回答信息量：I(my)??logP(my)??log7%?3.84bit：I(mn)??logP(mn)??log93%?0.105bitH(m)??P(my)?logP(my)?P(mn)?logP(mn) ?-7%?log7%-93%?log93%?0.366bit对于女：回答“是”的信息量：回答“不是”的信息量平均每个回答信息量：I(wy)??logP(wy)??log0.5%：I(mn)??logP(mn)??log99.5%H(m)??P(wy)?logP(wy)?P(wn)?logP(wn)?0.0454bit
?-0.5%?log0.5%-99.5%?log99.5%
?H.F.
2002 Copyright EE Lab508
1.4某一无记忆信源的符号集为｛0，1｝，已知p0?13，p1?23 。（1） 求符号的平均信息量；
（2） 由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”）
的自信量的表达式； （3） 计算（2）中序列的熵。 解：
（1）H(x)??p0logp0?p1logp1??13?log13?231313?log23?0.918 bit/symble23 bit（2）I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)log
（3）H(A)?1000H(X)?1000?0.918?918 bit/sequence m1000?mH(A)???p0logp0?i?1?i?1p1logp1??m3log?2(1000?m)3log231.5设信源X的信源空间为：
a1 a2 a3 a4 a5 a6 ?X： [x?p]：?p(X) 0.17 0.19 0.18 0.16 0.18 0.3 ?求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。 解：
6H(X)???p(ai)logp(ai)i?1 ??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble 可见H(X)?2.725?log6?2.585 不满足信源熵的极值性r， 但是本题中
这是因为信源熵的最大6值是在?i?1pi?1 的约束条件下求得的，立的约束条件，所以?i?1pi?1.18不满足信源熵最大值成H(X)?log6。
1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。 解：
由于亮度电平等概出现，由熵的极值性：10每个像素的熵是： H(x0)??i?1p(ai)logp(ai)?log10?3.322 bit/pels556每帧图像的熵是： H(X)?5?10?H(x0)?5?10?3.322?1.661?10 bit/frame?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?10 bit/s 7
?H.F.
2002 Copyright EE Lab508
1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。 证:
增加30个不同色彩度所以每个像素需要用,在满足黑白电视系统要30?10?300bit量化300求下,每个色彩度需要10个亮度,?每个像素的熵是： H(x1)??H(x1)H(x0)?log300log10?i?1p(bi)logp(bi)?log300bit/pels?2.477?2.5信息量比黑白电视系统比黑白电视系统高大2.5倍作用,所以传输相同的2.5倍左右.
?彩色电视系统每个像素图形,彩色电视系统信息率要1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:
每帧图象所含信息量5:56H(X)?3?10?H(x)?3?10?log128?2.1?10bit/symble每个汉字所出现概率p?100010000?0.1
?每个汉字所包含信息量描述一帧图像需要汉字n?H(X)H(c)?2.1?106:H(c)??logp数n,H(X)?nH(c)?log0.1?6.322?10/frame55?最少需要6.322?10个汉字m1.9给定一个概率分布(p1,p2,...,pn)和一个整数m，0?m?n。定义qm?1??pi，证明：
i?1H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并说明等式何时成立？
证：
先证明f(x)??xlogx(x?0)为凸函数，如下：?f??(x)?(?xlogx)?????f??(x)?(?xlogx)????logexlogexm 又x?0
?0 即f(x)??xlogx(x?0)为凸函数。 n又?H(p1,p2,...,pn)???pilogpi?i?1?i?m?1pilogpi?H.F.