【科技英雄传】IT业的理论奠基人香农
今天是美国数学家、信息论的创始人克劳德艾尔伍德香农(Claude Elwood Shannon)去世 13 周年的纪念日,香农一生的最大贡献主要有两个:一个是信息理论、信息熵的概念,另一个是符号逻辑和开关理论,这些理论为信息论和数字通信奠定了基础。
香农 1916 年 4 月 30 日出生于美国密歇根州的 Petoskey,在 Gaylord 小镇长大。父亲是镇上的法官,母亲是镇里的中学校长,他们为香农提供了一个良好的教育环境。
然而对香农的科学影响最大的还是其祖父,他的祖父曾发明过洗衣机和一些农业机械,给香农造成了最为直接的影响。香农跟著名的发明家爱迪生也有远亲的关系。
香农的主要成就是它提出了信息熵的概念,他证明了熵与信息内容的不确定程度有等价关系。熵是玻尔兹曼在热力学第二定律引入的概念,指的是分子运动的混乱度。信息熵也有类似的意义,信息熵大,意味着不确定性也大。
熵在控制论、概率论、数论、天体物理和生命科学等领域都有重要应用,在很多领域中都有十分重要的意义。香农是最早将熵引进信息论的人。
香农分别在 1948 年和 1949 年在《贝尔系统技术杂志》(Bell System Technical Journal)上发表的题为《通讯的数学原理》以及《噪声下的通信》等两篇论文,阐述了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达 式,并解决了信道容量、信源统计特征、信源编码、信道编码等一系列基本技术问题,被公认为信息论的奠基性著作。
香农在进行信息的定量计算的时候,明确地把信息量定义为随机不定性程度的减少。这就表明了他认为信息是用来减少随机不定性的东西。
虽然香农定义的信息概念比以前有了巨大的进步,但仍然没有将信息的内容和价值包括进来,只考虑了随机不定性,而没有从根本上回答“信息是什么”的问题。
除了信息理论和信息熵的概念之外,香农对人类社会的另一个重大贡献是他提出的符号逻辑和开关理论。
贝尔实验室(Bell Lab)和麻省理工学院(MIT)都尊崇香农为信息论及数字通信时代的奠基人。是他将布尔代数的“真”与“假”与电路的“开”与“关”对应起来,并用 1 和 0 表示。他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础,这也是从理论转换到实际产品设计的一个重要的环节。
香农 1936 年毕业于密歇根大学并获得数学和电子工程学士学位,1940 年获得麻省理工学院数学博士学位和电子工程硕士学位,1941 年他加入贝尔实验室数学部,工作到 1972 年,1956 年他成为麻省理工学院(MIT)客座教授,1958 年成为终生教授,1978 年成为名誉教授。香农博士于 2001 年 2 月 26 日去世,享年 84 岁。
除了在普林斯顿高等研究院工作过一年外,香农一生的大部分时间都在麻省理工学院和贝尔实验室度过。二战期间,香农曾领导贝尔实验室的破译团队进行过破译工作,主要是追踪德国的飞机和火箭。
虽然香农在公众中并不是特别的知名,但他一生获得过许多的荣誉和奖励,例如 1949 年 Morris 奖、1955 年 Ballantine 奖、1962 年 Kelly 奖、1966 年的国家科学奖章、IEEE 的荣誉奖章、1978 年 Jaquard 奖、1983 年 Fritz 奖、1985 年基础科学京都奖。