发布时间 : 星期六 文章信息论与编码习题参考答桉1更新完毕开始阅读
2002 Copyright EE Lab508
3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义p?1?p
p p p/2 p/2 0 1 p/2 p/2 p/2 p/2 2 (1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2) 求信源的极限熵H∞； (3) p取何值时H∞取得最大值。 解：
(1)由题意，此信源一步转 0 1 20?pp/2p/2???[P]?1?p/2pp/2?2?p/2p/2p????n0?1时二步转移概率均大于?信源具有各态经历性，?p(S)?p?1??????p(S2)＝?p/2????p/2p(S3)??????由?p/2pp/20，既有pij(n0?1)?0(i,j?1,2,3)p(Si)(i?1,2,3)??p(S1)?????p(S2)????p(S3)??131313移概率为：p 存在极限概率p/2??p/2?p??T?p(S1)????p(S2)????p(S3)???p(S1)?p(S2)?p(S3)?1????p(Si)?0(i?1,2,3)3
(2)?H????i?1?jp(Si)p(Sj/Si)logp(Sj/Si)13?p2logp2?13?p2logp2)??(plogp?plogp2)bit/symbl ??3?(13plogp?(3)H???(plogp?plog?p?p2?p2p2)??(plogp?p2logp2?p2p2??p213logp2)23时H?取得最大，且?1?由熵的极限定理，当p?即p?
H?max?log3?1.585bit/symble
?H.F.
2002 Copyright EE Lab508
3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}。试求： (1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2)求信源的极限熵H∞；
(3)求当p=0,p=1时的信息熵，并作出解释。
p
p
0 p 1 p p 2 p 解:
(1)由题意，此信源一步转 0 1 20?p0p???[P]?1?pp0?2?0pp????由状态转移图可知?存在极限概率?p(S)?p?1??????p(S2)＝?p????0p(S3)??????由?,此信源为不可约、非周期性、各态经历性信源p(Si)(i?1,2,3)0ppp??0?p??T移概率为：?p(S1)????p(S2)????p(S3)???p(S1)?p(S2)?p(S3)?1????p(Si)?0(i?1,2,3)3??p(S1)?????p(S2)????p(S3)??131313(2)?H????i?1?jp(Si)p(Sj/Si)logp(Sj/Si)13?plogp?13plogp?13?plogp?13plogp?13?plogp) ??(13plogp?
??(plogp?plogp)?H(p)bit/symbl(3)p?0时,H??H(0)?0bit/symbl p?1时,H??H(1)?0bit/symbl
?H.F.
2002 Copyright EE Lab508
3.10设某马尔柯夫信源的状态集合S：{S1S2S3}，符号集X：{α1α2α3}。在某状态Si(i=1,2,3)下发发符号αk(k=1,2,3)的概率p(αk/Si) (i=1,2,3; k=1,2,3)标在相应的线段旁,如下图所示. (1) 求状态极限概率并找出符号的极限概率;
(2) 计算信源处在Sj(j=1,2,3)状态下输出符号的条件熵H(X/Sj); (3) 信源的极限熵H∞.
α2:1/2 α1:1/2 S1 αS2 2:1/4 α3:1/4 α1:1 α3:1/2 S3
解:
(1)由题意，此信源一步转移概率为： S1 S2 S3S1?03/41/4?[P]?S?2?01/21/2??S3??100???由状态转移图可知,此信源为不可约、非周期性、各态经历性信源?存在极限概率p(Si)(i?1,2,3)???p(S)??03/41/4?T?p(S2??11)??p7??p(S2)??＝??01/21/2?????p(S2)???(S1)?由????p(S3)????100????p(S?3)?????p(S32)??p(S1)?p(S2)?p(S3)?1?7??2??p(S3)???p(S?7i)?0(i?1,2,3)各符号极限概率为:3p(ap(S241)??i/a1)p(Si)?i?17?12?27?1?73p(a?p(S22)?i/a2)p(Si)?i?17?14?27?12?3143p(a?p(S22133)?i/a3)p(Si)?i?17?14?7?2?143(2)H(X/S1111)???p(ai/S1)logp(ai/S1)??(i?12log2?14log4)?1bit/symble3 H(X/S12)???p(ai/S2)logp(ai/S2)??(i?12log112?2log12)?1bit/symble?H.F.
2002 Copyright EE Lab508
3 H(X/S3)???p(ai/S3)logp(ai/S3)??log1?0bit/symblei?13(3)?H????i?1?jp(Si)p(Sj/Si)logp(Sj/Si)log34?14log14)?37?(12log12?12log12)?27?log1]
??[27?(34 ?0.660bit/symbl3.12下图所示的二进制对称信道是无记忆信道,其中0?p,p?1,p?p?1,p??p,试写出N=3次扩展无记忆信道的信道矩阵[P].
0 p 0 p X Y p p 1 1
解:
将二进制对称无记忆信道N?3次扩展后,信源输入符号集为:?i?(ai1ai2ai3),其中ai1、ai2、ai3?{0,1},i?1,2,?8;即:?1?(000),?2?(001),?3?(010),?4?(011),?5?(100),?6?(101),?7?(110),?8?(111)输出符号集为:?j?{bj1bj2bj3},其中bj1、bj2、bj3?{0,1},j?1,2,?8;即:?1?(000),?2?(001),?3?(010),?4?(011),?5?(100),?6?(101),?7?(110),?8?(111)?p(?j/?i)?p(ai1/bj1)?p(ai2/bj2)?p(ai3/bj3)故直接可以写出N?3次扩展信道信道矩阵: ?1 ?2 ?3 ?4 ?5 ?6 ?7 ?8 (000) (001) (010) (011) (100) (101) (110) (111)?1?(000)?p?2?3[P]?3?4?5?6?7?8?2?(001)?pp2?(010)?pp??(011)?pp2?2?(100)pp??(101)?pp2??(110)?pp2?(111)?p3?ppp2322ppppp2322pp222pppppppp33222pp232ppp232pppppp3ppp22pppppp22pppp2322ppppp232pp3322ppp22ppppp232ppppppp22pppppp222pppppppppppppp??2pp?2?pp?2pp?2?pp?2pp??2pp?3?p?p3
?H.F.