发布时间 : 星期二 文章信息论基础6更新完毕开始阅读
《信息论基础》试卷答案
一、填空题（共15分，每空1分）
1，当（R=C或信道剩余度为0）时，信源与信道达到匹配。 3，信源符号的相关程度越大，信源的符号熵越（小），信源的剩余度越（大）
4，离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率（大）的符号用短码，对概率（小）的符号用长码，从而减少平均码长，提高编码效率。
8，香农第一编码定理指出平均码长的理论极限值为（信源熵H(S)/logr或HR(S)）， 此时编码效率为（1）
9，在下面空格中选择填入数学符号“=,<,>,?，?” 9.1 H2(X)=H(X1X2)/2 ? H3(x)=H(X1X2X3)/3 9.2 H (XY) = H(Y)+H(X/Y) ? H(Y)+H(X)
?X??x1x2x3x4?10,有一信源X，其概率分布为????若对该信源进行100次扩展， ?，
?P??1/21/41/81/8?其每扩展符号的平均信息量是（175bit/扩展符号）
11当（概率为独立等概）时，信源熵为最大值，8进制信源的最大熵为（3bit/符号） 二、判断题（本大题共5小题，每小题1分，共5分）
1）噪声功率相同的加性噪声信道中以高斯噪声信道的容量为最大（?） 2）即时码可以在一个码字后面添上一些码元构成另一个码字（?） 3）连续信源的熵可正可负可零（?） 4）平均互信息始终是非负的（?）
5）信道容量C只与信道的统计特性有关，而与输入信源概率分布无关（?） 四、（10分）有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x处在a1,a2之间。此信源连至信道，信道接收端接收脉冲的幅度y处在b1，b2之间。已知随机变量x和y的联合概率密度函数p(x,y)?1/(a2?a1)(b2?b1) 试计算h（x），h（y）h（xy）和I(x;y)
?1a1?x?a2?由p(x,y)得 p(x)??a2?a1
?0,其他??1,b2?x?b2? p?y???b2?b1
?0,其他?可见，p(xy)?p(x)p(y)，x和y相互独立，且均服从均匀分布， h(x)?log(a2?a1)bit/自由度
《信息论基础》试卷第1页
h(y)?log(b2?b1)bit/自由度
h(xy)?h(x)?h(y)?log(a2?a1)(b2?b1) I(x,y)?0
五、（10分）设某信道的传递矩阵为
?0.80.10.1?p??? 0.10.10.8??计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布，该信道为准对称信
道，
（1）两个对称信道矩阵为
?0.80.1??0.80.1??0.1??0.10.8??0.10.8?和?0.1? ??????N1=0.8+0.1=0.9,N2=0.1; M1=0.9,M2=0.2
∴C?log2?H(0.8,0.1,0.1)?0.9log0.9?0.1log0.2?0.447bit/符号 最佳输入概率分布为输入等概率，即 p(x1)?p(x2)=1/2 六、（10分）设随机变量x和y的联合概率分布如下所示：
x y b1=0 b2=1 a1=0 1/3 a2=1 0 1) 2)
1/3 1/3 已知随机变量z=xy,计算H(X)，H(Z)，H(XY)，H(X/Z)，Ｉ（x；y） H(x)=H(1/3,1/3)=0.9183bit/符号
z 0 1 pz 2/3 1/3 H(z)=H(2/3,1/3)=0.9183bit/符号
3）H(xy)=H(1/3,1/3,0,1/3)=1.58496 bit/每对符号 4)
xz P(xz) 00 01 10 11
H(xz)=H(2/3,1/3)bit/每对符号 H(x|z)=H(xz)-H(z)=0 5)
《信息论基础》试卷第2页
2/3 0 0 1/3
I(x,y)=H(x)+H(y)-H(xy) =0.25164bit/符号 七 （20） 一个离散无记忆信源
?x???x1x2x3x4x5x6?p(x)???1/161/161/161/161/41/2? ????1） 求H(x)和冗余度；（4分） 2） 编成Fano码，计算编码效率；（8分） 3） 编成Huffman码，计算编码效率。（8分）
1）
H(x)=H(1/16,1/16,1/16，1/16,1/4,1/2)=2bit v?1?H(x)log6?22.6﹪
2)
x16200x51010410x110041611011101x1316x1110211610x11 1611111
3)
x61/21/21/21/2x51/41/41/41/401/4x41/161/81/80x31/161/81/161x21/1601/161x11/161 L?1?12?2?114?4?4?2?2
??H(x)L?100％ 《信息论基础》试卷第3页
1/2000101/2111101111111001101?x??x1x2?八 （10分） 设一个离散无记忆信源的概率空间为????0.20.8?，它们通过p(x)?????0.90.1?干扰信道，信道矩阵为P???。信道输出符号集Y??y1y2?，试计算： 0.30.7??（1）信源X的信息熵；（2分）
（2）收到信息y2后，获得关于x1的信息量；（2分） （3） 共熵H(XY)；（2分） （4）信道疑义度H(X|Y);(2分)
（5） 收到消息Y后获得的关于信源X的平均信息量。（2分）
P(xy) y1 x1 x2
y2
0.9×0.2 0.1×0.2 0.3×0.8 0.7×0.8
(1) H(x)=H(0.2,0.8)=0.722bit/符号
（2） I(x1;y2)=I(x1)-I(x1|y2)=log1/0.2-log0,58 /0.02=-2.536bit/符号 （3） H（xy）=H(0.18,0.02,0.24,0.56)=1.52076bit/每对符号 （4） H(x|y)=H(xy)-H(y)=1.52076-H(y) H(y)=H(0.42,0.58)=0.98145 H(x|y)=0.53936bit/符号 （5）I(X:Y)=H(x)+H(y)-H(xy) =H(x)-H(x|y)
=0.722-0.5393=0.1827bit/符号
九 （10分） 有一个二元马尔科夫信源，其状态转移概率如图所示，括号中的数表示转移时发出的符号。试计算
（1） 达到稳定后状态的极限概率
（2） 该马尔科夫信源的极限熵H?。
0.5(1)0.5(0)s00.5(0)s10.5(1)0.5(0)s20.5(1)
《信息论基础》试卷第4页
s0s1s2s000.50.5(1) p?
s10.50.50s200.50.5P(s0)=0.5P(s1)
0.5(p(s0)+p(s1)+p(s2))=p(s1) 0.5(p(s0)+p(s2))=p(s2) P(s0)+p(s1)+p(s2)=1 得 p(s0)=0.25; P(s1)=0.5; P(s2)=0.25;
(2)H?=1/4H(0.5,0.5)+1/2H(0.5,0.5)+1/4H(0.5,0.5)=1/4+1/2+1/4=1bit/符号
《信息论基础》试卷第5页