信息论 例题

表1 符号条件概率表 表2 状态转移概率表

表4 状态转移概率矩阵

表3 状态转移图

求解稳态分布概率

得 解之得

2、 设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p(x1)=1/2，p(x2)＝l/4，p(x3)＝1/4。则信源熵为H(X)=1/2log22+1/4log24+1/4log24=1.5 比特/符号

3、 电视屏上约有 500×600=3×105个格点，按每点有 10个不同的灰度等级考虑，则共能组成n=103×105个不同的画面。按等概率1/103×105计算，平均每个画面可提供的信息量为 ≈3 × 105 × 3.32 比特/画面

有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文N=100001000=104000 篇，仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为H（X）＝log2N＝4 × 103 × 3．32 1．3 × 104 比

特／千字文

4、一个马尔可夫信源有3个符号，转移概率为：，，，，，，，，，画出状态图并求出各符号稳态概率。解：状态图如下

状态转移矩阵为：

设状态u1，u2，u3稳定后的概率分别为W1，W2、W3由得计算可得

5、由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。画出状态图，并计算各状态的稳态概率。解：

于是可以列出转移概率矩阵：状态图为：

设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有 得 计算得到

6、同时掷出两个正常的骰子，也就是各面呈现的概率都为

1/6，求：

(1) “3和5同时出现”这事件的自信息；(2) “两个1同时出现”这事件的自信息；

(3) 两个点数的各种组合（无序）对的熵和平均信息量；解(1(2)

(3)两个点数的排列如下：11121314151621222324252631323334353142434446

5152535556

6162636566共有21种组合：

其中11，22，33，44，55，66的概率是其他15个组合的概率是

7、电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设亮度电平等概分布。实时传送电视图像每秒发送30帧图像，为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。解：H=log2n=log210=3.322bit/symbolI=NH=3×105×3.322=9.966×105bitCt=9.966×105×30=2.99×107bit/sCt=Wlog(1+PX/PN)

W=Ct/log(1+PX/PN)=2.99×107/log(1+1000)=2.99MHz

8、一个平均功率受的连续信道，其通频带为1MHz，信道上存在高斯白噪声。

（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；

（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？

（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？

解：（1）C=Wlog2(1+SNR)=1×106log2(1+10)=3.459Mbps（2）C2=W2log2(1+5)=3.459Mbps W2=3.459M/log26=1.338MHz（3）C3=W3log2(1+SNR’)=3.459Mbpslog2(1+SNR’)=3.459/0.5 SNR’=120

9、(6,3)线性分组码，其生成矩阵是G= 求：

(1)计算码集，列出信息组与码字的映射关系。

(2)将该码系统化处理后，计算系统码码集并列出映射关系。

(3)计算系统码的校验矩阵H。若收码r = [100110], 检验它是否码字？(4)根据系统码生成矩阵画出编码器电原理图。

（1）由C=mG，将[m2,m1,m0]=000,001,010, …,111代入得

（2）对G做行运算，原①③相加作为第1行，原① ②行，原① ② 行相加作为第三行，得系统化矩阵Gs=

（3）G==[I3|P]，H=[PT|Ir-k]=

3个基底(100111)，(010110)，(001011)张成了码空间C，另外三个基底(110100)，(111010)，(101001)张成了对偶码空间D。计算rHT=[100110] ·=[001] ≠0，r不是码字（4）c=(c5c4c3c2c1c0)=(m2m1m0c2c1c0)=m2[100111]+m1[010110]+m0[001011]

得线性方程组：c5=m2c4=m1c3=m0

③相加作为第2 c2=m2+m1

c1=m2+m1+m0c0=m2+m0

10、在一个二进制信道中，信源消息X∈{0,1}，且p(1)=p(0)，信宿的消息Y ∈{0,1}，信道传输概率P(y=1|x=0)=1/4， P(y=0|x=1)=1/8.求：

（1）在接收端收到y=0后，所提供的关于传输消息x的平均条件互信息量I(X；y=0)；

（2）该情况所能提供的平均互信息量I(X；Y)。解：(1)

p(y0)=3/8+1/16=7/16 p(y1)=1/8+7/16=9/16I(X/y0)=

(2) 方法1： I(X;Y)=p(y0)I(X;y0)+p(y1)I(X;y1)=

方法2:

11、已知信源发出a1和a2两种消息，且p(a1)=p(a2)=1/2。此消息在二进制对称信道上传输，信道传输特性为p(b1/a1)=p(b2/a2)

=1-ε，p(b1/a2)=p(b2/a1)= ε。求互信息量I(a1;b1)和I(a1;b2)。解：

I(a1;b1)=log=log；

p(b1)=p(b1,a1)+p(b1,a2)=p(b1/a1)p(a1)+ p(b1/a2)p(a2) =(1-ε)*(1/2)+1/2*ε=1/2；

p(a1,b1)=1/2*(1-ε)； p(a1/b1)= p(a1,b1)/p(b1)=1- ε ；I(a1,b1)=log[2*(1-ε)]；I (a1;b2)=log

p(b2)=p(b2,a1)+p(b2,a2)=p(b2/a1)p(a1)+ p(b2/a2)p(a2) =(1-ε)*(1/2)+1/2*ε=1/2

p(a1,b2)= p(b2/a1)*p(a1)= 1/2* ε p(a1/b2)=p(a1,b2)/ p(b2)=ε I(a1,b2)=log2 ε