08级信息论复习试题

一、填空题

1、 信息论研究的主要问题是如何提高信息传输系统的有效性和可靠性。 2、 根据信源是否在连续的空间集合取值，可将信源分为连续信源和离散信源。 3、 信息量是指消息的不确定度，用函数表达式表示为I（x）=f[p(x)]= 4、 若给定离散概率空间[x,p(x)]的信源，则该信源的自信息量可表示为I(x)=-logap(x)，平均自信息量（即熵）可表示为

H(x)=E[I(x)]= 5、 若集合X与集合Y相互独立，则H（XY）=H(x)+H(Y) 6、 若给定离散联合概率密度空间[XY,P(xy)],则互信息量I(x;y)= 7、 平均互信息量用条件熵可表示为I(x;y)= ,其中条件熵H(x|y)通常称为 熵，条件熵H(y|x)=_____ ___熵。 8、 信源的冗余度是指______________________，设信源符号集的最大熵为Ho，实际熵为Ｈ∞，则冗余度Ｒ可表示为_________． 9、 在峰值功率受限的条件下，最佳概率密度函数是一个恒值Wopt(x)=________,当W(x)为均匀分布时，最大相对熵

Hcmax=_________。

10、在平均功率受限，均值不为零的一维随机变量的方差为定值时，其取值的最佳概率密度函数为正态分布Wopt(x)=_________，最大相对熵Hcmax=__________。

11、假设任一随机变量X与一正态分布随机变量具有相同的熵Ｈｃ，则其等效正态分布的随机变量Ｘ的熵功率为Ｐ＝_____． 12、对任一时刻的k,l以及任一取值ai∈X，bj∈Y，若离散无记忆信道满足P(yk=bj|xk=ai)=P(yl=bj|xl=ai),则信道称作是平稳或横参的。

13、平均互信息量I(X;Y)表示接收到符号Y后平均每个符号获得的关于x的信息量. 14、信道的信息传输率就是平均互信息量，即R=I(X;Y)=H(X)-H(X|Y) P68 15、信道容量就是只信道的最大信息传输率，及C=maxI(X;Y) P68

16、有噪无损信道是指信道的损失熵H(X|Y)=0,而噪声熵H(Y|X)≠0; 无噪有损信道是指信道的噪声熵H(Y|X) =0,而损失熵H(X|Y)≠0

17、可逆矩阵信道是指信道转移矩阵P为非奇异时，即可逆矩阵P-1存在时。P76

18、若信道传输率达到了信道容量，我们称信源与信道达到匹配，信道剩余度定义为:信道剩余度=C-I(X;Y) P78 19、并联信道的三种形式：积信道，和信道，输入并接信道，级联信道 P83

20、积信道的信道容量C=______,和信道的信道容量_______,输入并接信道容量________P81

21、在编码中，按码字长度的不同，可将码分为等长码和变长码，按码字是否全部相同可分为奇异码和非奇异码。 P95 22、唯一可译码包括：等长非奇异码、即时码、异前缀码、等长码、逗号码 P95

23、若q为信源符号的个数，r为码符号的个数，l为等长码的码长，则对信源进行等长唯一可译码的条件为q≤rl P95 24、变长编码可使出现概率大的信源符号用较短码字表示，出现概率小的信源符号用较长的码字表示。 P98 25、即时码是指在译码时无需参考后续的码符号就能立即做出判断的一类码。 P99

26、香农第一定理指出了平均码长与信源熵之间的关系，同时指出了可通过编码使平均码长达到极限值。 P109 27、由香农第一定理可推出，当平均码长达到极限H(s)时，编码后的信息传输率为R=logr bite/码符号

logr 28、香农第二定理（信道编码定理）研究怎样使消息通过有噪信道传输后产生的错误最少，即研究通信的可靠性问题。 P118 29、最大后验概率是指对于每一个输出符号译成具有最大后验概率的那个输入符号，则信道错误概率就能最小。 P119 30、常用的信道编码：线性码，非线性码，分组码，卷积码，循环码，非循环码 P129 31、信道编码中的纠错与检错的能力是用信息量的冗余度来换取的。 P129 32、码重：在信道编码中，定义码组中非零码元的数目为码组的重量。

33、把两个码组中对应码位上具有不同二进制码元的位数定义为两组码的距离，称为汉明距离，简称码距。 P129 34、对于一个二进制对称信道，如输入为k个等概率的长度为n的码字，则最大后验概率译码准则应为最小汉明距离译码。 P129 35、线性分组码的最小汉明距离等于非零码的最小重量。 P132 36、信息传输的可靠性基本技术：数据压缩，数据纠错，数据加密。

二、判断题

1、必然事件和不可能事件的自信息量都是0.错

2、单符号离散信源的自信息和信源熵都具有非负性。对 3、率失真函数对允许的平均失真度具有上凸性。对 4、自信息量是

p(xi)的单调递减函数。对

5、信道无失真传递信息的条件是信息率小于信道容量。对 6、信源编码是提高通信有效性为目的编码。对

7、信源编码通常是通过压缩信源的冗余度来实现的。对

8、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。错

9、信源熵具严格的下凸性。错

10、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。 错 11、连续信源和离散信源的平均互信息都具有非负性。对 12、连续信源和离散信源的熵都具有非负性。错

13、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 错 14、定长编码的效率一般小于不定长编码的效率。对 15、信源熵具有严格的下凸性。错 16、汉明码是一种线性分组码。对

17、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错 18、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 错 19、高斯加性信道的信道容量只与信道的信噪有关。 对 20、狭义的信道编码既是指：信道的检、纠错编码。 对

三、概念简答题

1、画出通信系统的基本模型框图及简述各部分的作用？ P4

2、为什么连续随机变量的熵可以用想对熵来代替？ P50~51

3、简述注水定理的原理？ P91

3、写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。

四、计算题

1、 在传输图片时，每帧有2.25×10³×10³个像素，每个像素有12个等概率出现的亮度等级，信噪比为30dB。⑴若每3分钟

传送一张图片，求所需的信道带宽。⑵若信道带宽为4kHz，问传送一张图片需多少时间。 2、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6， 求：

（1）“3和5同时出现”这个事件的自信息量。（2）“两个1同时出现”这个事件的自信息量。

（3）两个点数的各种组合（无序对）的熵或平均自信息量。（4）两个点数中至少有一个是1的自信息。 解：同时仍两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为1/6，所以36种中任一状态出现的概率相等，为1/36。

(1)设“3和5同时出现”这个事件为A。在这36种状态中，3和5同时出现有两种情况即3，5和5，3。

因为P(A)=2/36=1/18 所以 I（A）= -logP(A)=log218≈4.17 比特

(2)设“两个1同时出现”这个事件为B。在这36中状态中，两个1同时出现只有一种状态。所以

P(B)=1/36 I(B)= -logP(B)=log236≈5.17 比特

(3)设两个点数的各种组合构成信源X。这信源X的符号集A（样本集）就是这36种状态，所以A=｛x1,x2,∙∙∙,x36｝，并且其为等概率分布。得

 Xx1,x2,,x36 = 

1/36,1/36,1/36Px 所以H(X)=log236≈5.17 比特/符号（比特/状态）

(4)在这36种状态中两个点数中至少有一个是1的状态共有11种，每种状态是独立出现的，每种状态出现的概率是1/36。现设两个点数中至少有一个数是1的事件为C事件，则得 P（C）=11/36 所以I（C）= -logP(C)= -log211/36≈1.71 比特