1.2.1　信息论的早期酝酿

在人类文明的早期，就已经知道可利用信息或信息传递等手段来达到某种目的。例如，古代的烽火台就是用烽火来传递外敌入侵的信息。但是，大量信息的运用还是在有线、无线电通信产生以后。20世纪初，信息论进入了早期酝酿阶段。为了提高通信的质量与效率，人们开始从物理和数学两个方面考虑问题。在物理上，主要研究和改进了通信的物理手段和条件，如不同通信方式（如有线、无线）的采用、发射与接收设备的改进、波段的选择与信噪比的提高等。在物理技术改进的同时，人们也发现数学理论和工具的使用变得十分重要，通信中的许多问题如果没有数学的描述就无法说明。到20世纪40年代，信息论的一些基本问题开始形成。

1．早期编码问题

在有线、无线电通信产生时，编码技术也随之产生。早期的编码有莫尔斯（Morse）码和波多（Bodo）码等，它们通过“点”“划”和“空”等信号表示文字。这些码虽然原始，但实现了从文字到通信信号的重大转变。莫尔斯码和波多码是最早的编码方式。中文通信一直采用电报码方式，先将汉字变成数字，再用电码发送。

2．通信的有效性和可靠性

随着通信距离的加大，出现了信号强度的衰减与噪声干扰等问题。因此，如何克服噪声干扰就成为通信技术中迫切需要解决的问题。为了解决该问题，人们开始对通信中的各种因素加以分析，结果发现频带的加宽可以提高通信效率，而且它的作用比信号强度更为重要。同时又发现在通信技术中，通信的数量与质量存在相互制约关系，例如，牺牲通信的数量可以达到提高通信质量的目的。这种概念虽然符合人们日常生活的经验（如重复多次说话的内容可让对方听得更清楚），但是无法给出理论上的解释。直到20世纪20年代，奈奎斯特（H.Nyquist）与哈特莱（L.Hartley）提出了解决以上问题的一系列方法，证明了信息传递的速率与带宽成正比，信息的度量与信号的概率分布有关以及可采用对数函数形式对信息大小进行衡量等结果，这些研究成果的出现为香农信息论的建立奠定了基础。

3．香农熵的其他产生途径

20世纪40年代，控制论的奠基人维纳（N.Wiener）和美国统计学家费希尔（E.Fisher）与香农同时提出信息的一种度量方式，即信息熵的定义。由此说明，信息论的前期酝酿已经成熟。

4．纠错与检错码的产生

在信息论发展的同时，纠错、检错码的概念也在逐步形成。人们发现由“点”“划”和“空”等信号所构成的码可形成一定的结构，由这些结构可增加抗干扰能力。实际上，抗干扰的码就是一种有纠错能力的码。