信息理论基础第二版答案解析

第一章：信息与不确定性

1.1 信息与熵

信息理论是由克劳德.香农（Claude Shannon）于20世纪40年代初提出的一套研究信息传输和处理的集合理论。香农的研究重心是如何在保证可靠传输的同时，将信号中的信息量最大化。 香农“不确定性”的概念源于通信领域，它是指因为噪声干扰等各种不可预测因素而导致信号传输质量下降的现象。香农研究的目标是如何设计一种能在不确定性环境下依然正确传输信息的编码方案，因此，“信息”的本质也就是关于不确定性的一种量度方式。

1.2 费诺不等式

在信息领域，一般通过熵来度量信息的量度方式。熵事实上是对一个概率分布的不确定性的量度，即越不确定的分布其熵越大，越确定的分布其熵越小。对于一个离散型信源，其熵的定义为：$$ H(X)=-\\sum _{i}p_{i}\\log_{2}p_{i} $$其中，$p_{i}$表示第i个符号出现的概率。费诺不等式是信息论中最为重要的不等式之一，它描述了根据平均值来刻画不确定性分布的一种精度下限。具体来讲，假设X是一个取值范围在{1, 2, ..., n}中的随机变量，则对于任意的概率分布P，当n趋近于无穷大时，有：$$ \\lim _{n\\rightarrow \\infty }{\\frac {1}{n}}\\mathrm {Pr} (\\log _{2}X\\leq \\log _{2}n-H(P)+\\varepsilon )\\leq 2^{-n\\varepsilon ^{2}}. $$这个不等式表明，当且仅当一种分布在熵意义下达到上限时，它的概率质量函数才逼近于均匀分布。跟香农提出的熵的概念不谋而合的是，一个具有很大信息量的符号集合具有高度随机性，而具有低熵的符号集合信息量相对较小，因此费诺不等式也反映了信息量与随机性的直接关联。

1.3 熵的性质

熵除了与概率分布有直接的关系外，还具有以下性质：• 非负性。熵永远是非负的；• 对称性。对于任何由相同的符号集合生成的概率分布，它们的熵是相等的；• 信息的加性。如果A和B分别代表两个不同符号集合的话，那么整个符号集合的熵将由A和B的熵之和组成；• 极值性。仅有一个分布能够使熵达到最大值，这个分布就是均匀分布。可以看出，无论是从理论计算到实际应用，熵的作用都不可避免，是信息理论的一个重要概念，不仅能量化信息形式和含量，还能在通信、压缩、加密、质控等领域发挥着重要的作用。