发布时间 : 星期三 文章信息论与编码习题参考答桉1更新完毕开始阅读
2002 Copyright EE Lab508
s?k1p1p1p1p1p(b/a)??p(b/a)logp(bjjjj/ai)?ii??j1?1?j?1s?k2p2p2p2p2??p(bj/ai)?j??p(bj/ai)logp(bj/ai) (i?1,2,?r)??(2)j1?1?j?1???s?kNpnpnpnpn??p(bj/ai)?j??p(bj/ai)logp(bj/ai)j1?1?j?1km其中Cm?log[s?j?12?pmkmj](m?1,2,?,N),即?2j?1Nkm?pmj?2Cm?C?log[?j?12?j]?log[?m?1(?2j?1km?pmNj)]?log[?m?1kmj?12Cm]pmj且在各信道利用率为:pm?N?j?12(?pmj?C)(?log2??C)?2?2(Cm?C)(m?1,2,?,N)时取得信道容量
C?log[?m?12Cm]第三章 多符号离散信源与信道
3.1设X＝X1X2?XN是平稳离散有记忆信源，试证明：
H(X1X2?XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+?+H(XN / X1 X2?XN-1)。 (证明详见p161-p162)
3.2试证明：logr≥H(X) ≥H(X2/ X1) ≥H(X3/ X1 X2) ≥?≥H(XN / X1 X2?XN-1)。 证明:
?H.F.
2002 Copyright EE Lab508
由离散平稳有记忆信源条件概率的平稳性有:p(aik/ai2ai3?aik?1)?p(aik?1/ai1ai2?aik?2)rr?H(Xk/X1X2?Xk?1)???i1?1ri1?1r?ik?1?1r?p(ai1?aik?1)???rr?ik?1?p(aik/ai1ai2?aik?1)logp(aik/ai2ai3?aik?1)?? ???? ????i1?1r??ik?1?1ik?1rrp(ai1ai2?aik?1aik)logp(aik/ai2ai3?aik?1)p(ai1ai2?aik?1aik)logp(aik?1/ai1ai2?aik?2)??ik?1?1ik?1r ????i1?1?ik?1?1p(ai1ai2?aik?1)logp(aik?1/ai1ai2?aik?2) ?H(Xk?1/X1X2?Xk?2)重复应用上面式子可得:H(X)?H(X2/X1)?H(X3/X1X2)??H(XN/X1X2?XN?1)又仅当输入均匀分布时，H(X)达到最大logr，即logr?H(X)?logr?H(X)?H(X2/X1)?H(X3/X1X2)??H(XN/X1X2?XN?1)
3.3试证明离散平稳信源的极限熵：
H??limH(Xn??N/X1X2XN?1)
(证明详见p165-p167)
3.4设随机变量序列(XYZ)是马氏链，且X：{a1, a 2,?, a r}，Y：{b1,b2, ?,bs},Z:{c1,c2, ?,cL}。又设X与Y之间的转移概率为p(bj/ai)(i=1,2, ?,r;j=1,2, ?,s)；Y与Z之间的转移概率为p(ck/bj)(k=1,2,?,L;j=1,2, ?,s)。试证明：X与Z之间的转移概率：
sp(ck/ai)??j?1p(bj/ai)p(ck/bj)
证明:
?H.F.
2002 Copyright EE Lab508
p(ck/ai)?p(Z?ck/X?ai)ss ?p(Z?ck,?Y?bj/X?ai)?j?1s?j?1p(Z?ck,Y?bj/X?ai) ??j?1p(Y?bj/X?ai)P(Z?ck/Y?bj,X?ai)
?XYZ为Markov序列?P(ck/bj,ai)?P(ck/bj)s?p(ck/ai)＝?p(Y?bj/X?ai)P(Z?ck/Y?bj)j?1
3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，?，r，都有pij(n0)>0，则对每个j＝1，2，?，r都存在状态极限概率：
limpij(n)?pj(j?1,2,?,r)
n??(证明详见:p171~175)
3.6设某齐次马氏链的第一步转移概率矩阵为：
0 1 2 0?qp0??? 1q0p??2??0qp??试求：
(1) 该马氏链的二步转移概率矩阵；
(2) 平稳后状态“0”、“1”、“2”的极限概率。 解：
?q?(1)[P(2)]??P??P??q???0(2)由：T2??p(0)??q?p0??p(0)?q(1?p)q????p(0)??????p?p(1)1?pq1?pq??p(1)?＝?q0???????p????p(2)????0q??p(2)????p(1)?(1?q)(1?p)?pq??1?pq1?pq?p(0)?p(1)?p(2)?1?2??p(1?q)p???p(0)??1?pq1?pq???p(i)?0(i?0,1,2)p0q0??q??pq??p????0p0q20??q?pq??2p??q??q2p???pq2pqpq??2p?2pq?p??p2
3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位
?H.F.
2002 Copyright EE Lab508
时间的条件概率分布分别是：
P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3; P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3; P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0.
后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/ X0)(i≥2)试画出该信源的香农线图，并计算信源的极限熵H∞。 解：
由题意，此信源为一阶有记忆信源： 0 1 20?1/31/31/3?且一步转移概率为：[P]?1???1/31/31/3?2??1/21/20???1/31/31/3??1/31/31/3??1/37/182/9??[P(2)]??P??P????1/31/31/3?????1/31/31/3?????7/187/182/9????1/21/20????1/21/20????1/31/31/3???n0?2时二步转移概率均大于0，既有pij(n0?2)?0(i,j?1,2,3)?信源具有各态经历性，存在极限概率p(Si)(i?1,2,3)???p(S1)??1/31/31/3?T?p(S1)??3????????p(S2)?＝?1/31/31/3???p(S2)?p(S1)?8??由????p(S?3)????1/21/20????p(S3)????3?p(S?p(S2)??p(S1)2)?p(S3)?1?8??1??p(S3)???p(S?4i)?0(i?1,2,3)3?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j ??3?(38?13log13)?3?(38?13log13)?2?(1114?2log2)?1.439bit/symbl香农线图如下：
1/3 1/3 1/3 0 1/3 1 1/2 1/3 1/2 1/3 2 ?H.F.