发布时间 : 星期一 文章第二章 信源熵改-习题答案更新完毕开始阅读
(3) 计算(2)中序列的熵。
解： (1)
133??1H(X)???p(xi)logp(xi)???log?log?i?4444?0.811 bit/symbol
?(2)
m100?m?mp(x?1??3?i)???4?????4???31004100
(x3100?mI(xi)??logpi)??log4100?41.5?1.585m bit(3) H(X100)?100H(X)?100?0.811?81.1 bit/symbol
2.16 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}(1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。
PP0P1PP2P 解： (1)
?p(e1)?p(e1)p(e1/e1)?p(e2)p(e?1/e2)?p(e2)?p(e2)p(e2/e2)?p(e3)p(e2/e3)??p(e3)?p(e3)p(e3/e3)?p(e1)p(e3/e1)??p(e1)?p?p(e1)?p?p(e2)??p(e2)?p?p(e2)?p?p(e3)???p(e3)?p?p(e3)?p?p(e1)
?p(e1)?p(e2)?p(e3)??p(e1)?p(e2)?p(e3)?1?p(e1)?1/3??p(e2)?1/3??p(e3)?1/3
。
· 9 ·
?p(x1)?p(e1)p(x1/e1)?p(e2)p(x1/e2)?p?p(e1)?p?p(e2)?(p?p)/3?1/3???p(x2)?p(e2)p(x2/e2)?p(e3)p(x2/e3)?p?p(e2)?p?p(e3)?(p?p)/3?1/3?p(x3)?p(e3)p(x3/e3)?p(e1)p(x3/e1)?p?p(e3)?p?p(e1)?(p?p)/3?1/3 ???X??P(X12???0????)??1/31/31/3?(2)
33H????i?jp(ei)p(ej/ei)logp(ej/ei)11?1 ???p(e1/e1)logp(e1/e1)?p(e2/e1)logp(e2/e1)?p(e3/e1)logp(e3/e1)33?3 ? ?1313p(e1/e2)logp(e1/e2)?p(e1/e3)logp(e1/e3)?1313p(e2/e2)logp(e2/e2)?p(e2/e3)logp(e2/e3)?131p(e3/e2)logp(e3/e2)
?p(e3/e3)logp(e3/e3)?3?11111?1? ????p?logp??plogp??p?logp??p?logp??p?logp??p?logp?33333?3? ??p?logp?p?logp bit/symbol??2.17黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为
P(黑) = 0.3，白色出现的概率为P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X);
(3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。
解： (1)
H(X)???p(xi)logp(xi)??(0.3log0.3?0.7log0.7)?0.881 bit/symbol
i(2)
?p(e1)?p(e1)p(e1/e1)?p(e2)p(e1/e2)??p(e2)?p(e2)p(e2/e2)?p(e1)p(e2/e1)?p(e1)?0.8p(e1)?0.1p(e2)??p(e2)?0.9p(e2)?0.2p(e1)?p(e2)?2p(e1)??p(e1)?p(e2)?1?p(e1)?1/3??p(e2)?2/3H????ip(黑/黑)=0.8黑e1p(白/黑)=0.2p(白/白)=0.1白e2 p(白/白)=0.9?jp(ei)p(ej/ei)logp(ej/ei)122?1? ????0.8log0.8??0.2log0.2??0.1log0.1??0.9log0.9?333?3? ?0.553 bit/symbol· 10 ·
?1?H0?H?H0H0?H?H0??log2?0.881log2log2?0.553log2?11.9%(3)
?1?
?44.7%H(X) > H2(X)
表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。
2.17 给定声音样值X的概率密度为拉普拉斯分布p(x)?1?e??x,???x???，求Hc(X)，并
2证明它小于同样方差的正态变量的连续熵。
解： H1??|x|c(X)?????(x)logp(x)dx???????p??p(x)log2?edx ??log???p(x)dx??????|x|2?????p(x)logedx ?log2????1|x|loge??|x|???2?e??dx ?log2?????0?e??xloge??xdx其中：????x0?e?loge??xdx??????xd?e??x0loge??e??xlogx??2e??0????0e??xd?loge??x?????e??x????0??log2e?log2e?Hlog22ec(X)???log2e?log? bit/symbolm?E(X)??????1x|?x?x??p(x)?xdx????2?e??|xdx??01??2?exdx????102?e?xdx?01?x0???y??2?exdx??01(?y)??2?e?(?y)d(?y)??1?y??2?eydy?????102?e?ydy?m?????102?e??xxdx????102?e??xxdx?0?2?E??x?m?2??E(x2)????2??12??p(x)?xdx????2?e??|x|xdx??????x0?ex2dx ?????2??x?????x2????x0xde?x2?ex0???0e??dx???????0e??xdx2?2???0e?xdx ??2???x??????x??0xde???2???x???ex0??0edx????2?2?H?2?log22ec(X正态)?12log2?e??e?Hc(X)?log?
· 11 ·
2.18 每帧电视图像可以认为是由3?105个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？
解： 1)
H(X)?logn?log128?7 bit/symbolH(XN)?NH(X)?3?105?7?2.1?106 bit/symbol
2)
H(X)?logn?log10000?13.288 bit/symbolH(XN)?NH(X)?1000?13.288?13288 bit/symbol
N3)N?H(X).1?106H(X)?213.288?158037
2.19 连续随机变量X和Y的联合概率密度为：?p(x,y)??1??r2??0H(XYZ)和I(X;Y)。、 （提示：
??2log 02sinxdx???2log22）解：
· 12 ·
x2?y2?r2，求H(X), H(Y), 其他