克勞德·夏農
克勞德·艾爾伍德·夏農（英語：Claude Elwood Shannon，1916年4月30日—2001年2月24日），美國數學家、電子工程師和密碼學家，被譽為資訊理論的創始人。[1][2]夏農是密西根大學學士，麻省理工學院博士。
| 克勞德·夏農 Claude Shannon | |
|---|---|
 | |
| 出生 | 1916年4月30日 美國密西根州佩托斯基 |
| 逝世 | 2001年2月24日（84歲） 美國麻薩諸塞州梅德福 |
| 母校 | 密西根大學（BA、BS） 麻省理工學院（MS、PhD） |
| 知名於 |
|
| 配偶 | 諾瑪·萊沃 （1940年結婚—1941年結束） 貝蒂·香農 （1949年結婚—2001年結束） |
| 獎項 | 斯圖亞特·巴蘭汀獎章（1955） IEEE榮譽獎章（1966） 美國國家科學獎章（1966） 哈維獎（1972） 克勞德·E·夏農獎（1972） 哈羅德·彭德獎（1978） 約翰·弗里茨獎（1983） 京都獎（1985） 馬可尼協會終身成就獎（2000） 國家發明家名人堂（2004） |
| 科學生涯 | |
| 研究領域 | 數學、電子工程 |
| 機構 | 貝爾實驗室 麻省理工學院 普林斯頓高等研究院 |
| 論文 | |
| 博士導師 | 弗蘭克·勞倫·希區考克 |
| 博士生 | 丹尼爾·希利斯 伊凡·蘇澤蘭 伯特·薩瑟蘭 |
1948年，夏農發表了劃時代的論文——《通訊的數學理論》，奠定了現代資訊理論的基礎。不僅如此，夏農還被認為是數位計算機理論和數位電路設計理論的創始人。1937年，21歲的夏農是麻省理工學院的碩士研究生，他在其碩士論文中提出，將布爾代數應用於電子領域，能夠構建並解決任何邏輯和數值關係，被譽為有史以來最具水平的碩士論文之一[3]。二戰期間，夏農為軍事領域的密分碼析——密碼破譯和保密通訊——做出了很大貢獻。
生平
夏農出生於密西根州佩托斯基 。父親克勞德（1862–1934）與他的姓名完全相同，是新澤西州早期移民的後裔，曾自主創業經商，也擔任過審核遺囑的法官。母親瑪貝爾·沃夫·夏農（1890–1945）是德國移民的女兒，職業是語言學教師，曾長期擔任密西根州蓋洛德高中的校長。夏農人生的前16年都是在蓋洛德度過，他在那兒接受了公立學校教育，並於1932年從蓋洛德高中畢業。夏農對機械和電氣電子表現出了極大愛好。他最優秀的學科就是科學和數學，並在家中製作了模型飛機、無線電控制的模型船和一個可與半英里內的朋友家聯繫的無線電報系統。大一點的時候，他做過西聯匯款的投遞員。
布爾理論和二戰前研究
1932夏農進入密西根大學學習，在大學的一門課程中接觸到了喬治·布爾的理論。1936年大學畢業時，夏農獲得了兩個學士學位：電子工程學士和數學學士。不久，夏農進入麻省理工學院開始研究生學習，參與了萬尼瓦爾·布什的微分分析機（Differential Analyzer）的相關工作。微分分析機是一種類比計算機，是現代電腦的鼻祖。[4]
在研究微分分析機的自組織（ad hoc）電路時，夏農發現引入布爾理論的概念會帶有很大的好處。在1937年碩士論文的基礎上，夏農在1938年發行的Transactions of the American Institute of Electrical Engineers上發表了著名論文「A Symbolic Analysis of Relay and Switching Circuits」[5]。由於這篇論文，夏農於1940年被授予美國Alfred Noble協會美國工程師獎。哈佛大學的哈沃德·加德納稱夏農的碩士論文「可能是本世紀最重要、最著名的碩士學位論文」。
在這篇論文中，夏農證明了布爾代數和二進制算術可以簡化當時在電話交換系統中廣泛應用的機電繼電器的設計。然後，夏農擴展了這個概念，證明了基於機電繼電器的電路能用於類比和解決布爾代數問題。
用電子開關類比布爾邏輯運算是現代電子計算機的基本思路，夏農的工作成為數位電路設計的理論基石，完全取代了之前盛行的ad hoc方法。Vannevar Bush建議夏農將類似的數學方法應用於孟德爾遺傳學，夏農接受了這個建議，寫出了An Algebra for Theoretical Genetics。憑此論文，夏農於1940年獲得麻省理工學院博士學位。
1940年，夏農成為普林斯頓高等研究院的研究員。在那裡夏農有很多機會與當時有影響力的科學家和數學家交流，比如阿爾伯特·愛因斯坦、赫爾曼·外爾和約翰·馮·諾伊曼，現代資訊理論的思想逐漸在他腦海中成型。
二戰期間的研究
二戰期間，夏農加入貝爾實驗室，研究火力控制系統和密碼學，相關課題直屬國防研究委員會領導。
在貝爾實驗室，夏農遇到了擔任數值分析員的Betty。兩人於1949年結婚。
1943年，夏農有機會和英國數學家和密碼學家艾倫·圖靈合作。圖靈被派到華盛頓和美國海軍交流破譯德國的北大西洋潛艇艦隊密碼的成果，並在貝爾實驗室待了一段時間。夏農和圖靈在一個自助餐廳見面。圖靈向夏農介紹了現在被稱為「通用圖靈機」[6][7]的概念。夏農對此很感興趣，因為圖靈機的概念和夏農自己的很多想法相吻合。
1945年，戰爭進入尾聲，國防研究委員會NDRC的使命即將結束。在正式解散之間，NDRC決定將重要研究成果整理成冊，其中有一篇論文「火力控制系統的數據平滑和數據預測」是夏農和雷夫·畢比·布萊克曼、亨德里克·韋德·波德一起寫的，它的思路和「通訊系統中將訊號和雜訊相分離」[8]是類似的，也就是說，夏農在火力控制系統研究中已經發現了後來成為資訊理論的基本概念和框架體系。
戰時夏農在密碼學領域的研究與通訊領域的關係更加密切。1945年，夏農向貝爾實驗室提交了一份備忘錄，題目是「密碼學的一個數學理論」，之後在1949年以「保密系統的通訊理論」的標題在Bell System Technical Journal正式發表，包含了很多在「通訊的一個數學理論」出現的概念和數學公式。夏農說，戰時對通訊理論和密碼學的研究使他認識到「兩者密不可分」。[9]
還是在貝爾實驗室，夏農證明了一次性密鑰（cryptographic one-time pad）是無法被破譯的。夏農同時證明了一個無法被破譯的密碼系統的密鑰必須有以下特徵：完全隨機；不能重複使用；保密；和明文一樣長。[10]
戰後的貢獻
1948年，劃時代的「通訊的一個數學理論」分成兩部分，在7月和10月的Bell System Technical Journal發表。文章系統論述了資訊的定義，怎樣數量化資訊，怎樣更好地對資訊進行編碼。在這些研究中，概率理論是夏農使用的重要工具。夏農同時提出了資訊熵的概念，用于衡量消息的不確定性。
1949年，夏農和沃倫·韋弗合著了「通訊的數學理論」，包含了夏農1948年的論文「通訊的一個數學理論」和韋弗為非專業人士寫的介紹通訊理論的內容。韋弗指出，在資訊理論中"information"這個詞不是指「你說了什麼」，而是指「你能夠說什麼」，也就是說，資訊表示人們可有多少選擇。之後，約翰·羅賓森·皮爾斯在「Symbols, Signals, and Noise」這本書中也對夏農的概念作了通俗的介紹。
1951年，夏農寫了"Prediction and Entropy of Printed English"，說明資訊基礎理論能夠應用於自然語言和計算機語言，計算了英語這門語言的熵，從而為從統計的角度分析語言打下了基礎。而且，夏農認為如果把空格當作英語字母表上的第27個字母，能夠降低提取英語處理的不確定性。
數位通訊的基礎理論——抽樣分析理論——的提出也有夏農的貢獻。抽樣分析理論將連續的類比訊號抽樣成離散的數位訊號，為20世紀60年代之後數位通訊的興起奠定了基礎。
1956年，夏農返回MIT。
愛好和發明
除了學術研究，夏農愛好雜耍、騎獨輪腳踏車和下棋。夏農發明了很多用於科學展覽的設備，比如火箭動力飛行光碟、一個電動彈簧高蹺和一個噴射小號。夏農的辦公桌上放著一個他稱之為「終極機器」的盒子，這是夏農眾多好玩的發明之一，是根據人工智慧研究的先驅、數學家馬文·閔斯基提出的想法而做出來的。這個盒子外表平淡無奇，只是在一側有一個開關，彈一下開關，盒蓋就會打開，一個機械手會伸出來；將開關復原，機械手就縮回盒子。夏農還做了一個設備能夠復原魔方。
獲獎與榮譽
- 美國科學院院士、倫敦皇家科學院院士、利奧波第那科學院院士（德國）
- 美國Alfred Noble協會美國工程師獎（1940年）
- IEEE莫里斯·N·利布曼紀念獎（1949年）
- 耶魯大學首席科學家（1954年）
- 斯圖亞特·巴蘭汀獎章（1955年）
- 研究合作獎（1956年）
- 密西根大學榮譽博士（1961年）
- 萊斯大學榮譽獎章（1962年）
- 普林斯頓大學榮譽博士（1962年）
- 梅文·J·凱利獎章（1962年）
- 愛丁堡大學榮譽博士（1964年）
- 匹茲堡大學榮譽博士（1964年）
- IEEE榮譽獎章（1966年）
- 美國國家科學獎章（1966年）
- 美國成就學院金盤獎（1967年）
- 美國西北大學榮譽博士（1970年）
- 哈維獎（1972年）
- 牛津大學榮譽博士（1978年）
- 約瑟夫·雅卡爾獎（1978年）
- 哈羅德·彭德獎（1978年）
- 東英吉利亞大學榮譽博士（1982年）
- 卡內基梅隆大學榮譽博士（1984年）
- 美國聲頻技術協會金獎（1985年）
- 京都獎（1985年）
- 塔夫斯大學榮譽博士（1987年）
- 賓夕法尼亞大學榮譽博士（1991年）
- Eduard Rhein Prize（1991年）
參見
參考文獻
- ^ Ioan James. Claude Elwood Shannon 30 April 1916 — 24 February 2001. Biographical Memoirs of Fellows of the Royal Society. 2009-12-01, 55: 257–265 [2018-04-02]. ISSN 0080-4606. doi:10.1098/rsbm.2009.0015. （原始內容存檔於2017-07-03） （英語）.
- ^ Bell Labs website: "For example, Claude Shannon, the father of Information Theory, had a passion...". [2013-05-21]. （原始內容存檔於2011-06-05）.
- ^ Poundstone, William. Fortune's Formula : The Untold Story of the Scientific Betting System That Beat the Casinos and Wall Street. Hill & Wang. 2005. ISBN 978-0-8090-4599-0.
- ^ Robert Price. Claude E. Shannon, an oral history. IEEE Global History Network. IEEE. 1982 [14 July 2011]. （原始內容存檔於2012-10-10）.
- ^ Claude Shannon, "A Symbolic Analysis of Relay and Switching Circuits," （頁面存檔備份，存於網際網路檔案館） unpublished MS Thesis, Massachusetts Institute of Technology, August 10, 1937.
- ^ Turing, A.M., On Computable Numbers, with an Application to the Entscheidungsproblem, Proceedings of the London Mathematical Society, 2 42, 1936, 42: 230–651937, doi:10.1112/plms/s2-42.1.230
- ^ Turing, A.M., On Computable Numbers, with an Application to the Entscheidungsproblem: A correction, Proceedings of the London Mathematical Society, 2 43 (6), 1938, 43 (6): 544–61937, doi:10.1112/plms/s2-43.6.544
- ^ David A. Mindell, Between Human and Machine: Feedback, Control, and Computing Before Cybernetics, (Baltimore: Johns Hopkins University Press), 2004, pp. 319-320. ISBN 978-0-8018-8057-5.
- ^ quoted in Kahn, The Codebreakers, p. 744.
- ^ Shannon, Claude (1949). "Communication Theory of Secrecy Systems". Bell System Technical Journal 28 (4): 656–715.
- ^ The Invention of the First Wearable Computer Online paper by Edward O. Thorp of Edward O. Thorp & Associates (PDF). [2012-11-05]. （原始內容存檔 (PDF)於2008-05-28）.
- 克勞德·艾爾伍德·夏農：《通訊的數學理論》（A mathematical theory of communication）貝爾系統技術月刊l,27卷,379-423,623-656頁, 1948年7月,10月
- 克勞德·艾爾伍德·夏農和Warren Weaver:《通訊的數學理論》伊利諾伊大學出版社, Urbana,伊利諾伊,1949年. ISBN 978-0-252-72548-7
外部連結
- 夏農的生活和生涯
- 《保密系統通訊理論》（Communication Theory of Secrecy Systems）：Scanned JPEG images，PDF（頁面存檔備份，存於網際網路檔案館），PDF site.
- 通訊的數學理論（頁面存檔備份，存於網際網路檔案館）
- 麻省理工訃告（頁面存檔備份，存於網際網路檔案館）
- Obituary Royal Netherlands Academy of Sciences (in Dutch)
- 在密西根大學的回顧
- Notes on Computer-Generated Text
- 夏農的貢獻
- 夏農的判別理論和判別機器人
- 夏農的關於計算機下象棋的論文，文本（頁面存檔備份，存於網際網路檔案館）
- 夏農的關於計算機下象棋的論文,PDF（頁面存檔備份，存於網際網路檔案館）
- 夏農的關於計算機下象棋的論文，文本，原稿（頁面存檔備份，存於網際網路檔案館）
- 《資訊科學技術概論》附錄1《資訊理論的奠基人—夏農》（頁面存檔備份，存於網際網路檔案館）