8
| 本文作者： 溫曉樺 | 2016-04-29 13:24 |
克勞德·艾爾伍德·香農(nóng)（Claude Elwood Shannon ），1916年4月30日—2001年2月26日。
香農(nóng)是美國數(shù)學家、信息論的創(chuàng)始人。1948年，香農(nóng)發(fā)表了《通信的數(shù)學理論》文章，提出了信息熵的概念，并創(chuàng)建了信息論。這篇文章奠定了香農(nóng)“信息論之父”的地位。后來，香農(nóng)在1949年繼續(xù)發(fā)表了《噪聲下的通信》。
幾十年來，人類科技在數(shù)字化、智能化、網(wǎng)絡化等的推動下經(jīng)歷了一波又一波通信、信息革命。數(shù)十年之后，在信息流、物質流的社會中，香農(nóng)的論著依然閃爍著智慧之光，并將照耀人類社會今后的數(shù)個世紀。對此，雷鋒網(wǎng)咨詢了相關專業(yè)人士。
是否有人曾質疑過，隨著科技的不斷發(fā)展，香農(nóng)的信息論有可能無法滿足現(xiàn)實的要求？答案是否定的。根源上講，信息流、物質流組成了世界。只要世界的根源還是信息與物質，香農(nóng)揭示的依舊是一個公理。即便發(fā)展到人工智能的今天，信息依然是一切的基礎。業(yè)界來說，《通信的數(shù)學理論》是一篇20世紀少有的、對人類發(fā)展產(chǎn)生深遠影響的科學論著，可與牛頓力學相媲美。即便百年之后，我們依舊享用著這個理論來探索未知的世界。
20世紀60年代末開始了通信與計算機相結合，通信網(wǎng)迅速發(fā)展，人類開始向信息化社會邁進。這就要求信息作業(yè)的標準化，加密算法當然也不能例外。標準化對于技術發(fā)展、降低成本、推廣使用有重要意義。
我們都知道，美國FBI提出的數(shù)據(jù)加密標準DES，以及最新圖靈獎得主斯坦福大學密碼學和網(wǎng)絡安全技術專家惠特菲爾德·迪菲（Whitfield Diffie）和馬丁·赫爾曼（Martin Hellman）提出的公鑰加密系統(tǒng)是現(xiàn)代密碼學的標志，是現(xiàn)代通信的基礎加密技術。不過，你也許不知道，這兩種標準或體制都以香農(nóng)的信息論為基本指導思想。
1949年，香農(nóng)公開發(fā)表《保密系統(tǒng)的通信理論》一文，開辟了用信息論來研究密碼學的新思路。這篇文章基于的理論是香農(nóng)在1945年為貝爾實驗室所完成的一篇報告《A Mathematical Theory of Cryptography》。論文發(fā)表后，香農(nóng)被美國政府聘為政府密碼事務顧問。
DES全稱為Data Encryption Standard，即數(shù)據(jù)加密標準，是一種使用密鑰加密的算法。DES設計中使用的兩個分組密碼設計原則：混淆（confusion）和擴散(diffusion)，其目的是抗擊敵手對密碼系統(tǒng)的統(tǒng)計分析。這就很好地提現(xiàn)了香農(nóng)1949年的論文中所提出的設計強密碼思想：
組合（Combine）概念：由簡單易于實現(xiàn)的密碼系統(tǒng)進行組合，構造較復雜的、密鑰量較大的密碼系統(tǒng)。Shannon曾給出兩種組合方式，即加權和法和乘積法。
擴散（Diffusion）概念：將每一位明文及密鑰盡可能迅速地散布到較多位密文數(shù)字中去，以便隱蔽明文的統(tǒng)計特性。
混淆（Confusion）概念：使明文和密文、密鑰和密文之間的統(tǒng)計相關性極小化，使統(tǒng)計分析更為困難。
信息論是研究和評估保密和認證系統(tǒng)的安全的重要工具，同時熵和信息量也是研究和評估隱匿系統(tǒng)重要工具。
Shannon曾用揉面團來形象地比喻“擴散”和“混淆”的作用，密碼算法設計中要巧妙地運用這兩個概念。與揉面團不同的是，首先密碼變換必須是可逆的，但并非任何“混淆”都是可逆的；二是密碼變換和逆變換應當簡單易于實現(xiàn)。分組密碼的多次迭代就是一種前述的“乘積”組合，它有助于快速實現(xiàn)“擴散”和“混淆”。
可以說，分組密碼設計中將輸入分段處理、非線性變換，加上左、右交換和在密鑰控制下的多次迭代，都在香農(nóng)構造密碼的思想下指導進行。
香農(nóng)在1949年指出：“好密碼的設計問題，本質上是尋求一個困難問題的解，相對于某種其它條件，我們可以構造密碼，使其在過程中的某點上等價于解某個已知數(shù)學難題。”在此影響下，迪菲和赫爾曼提出了公鑰加密系統(tǒng)。
迪菲和赫爾曼提出的公鑰加密系統(tǒng)，其中的RSA、Rabin、背包、ElGamal、ECC、NTRU、多變量公鑰等所有公鑰算法都是基于某個數(shù)學問題求解的困難性。
迪菲和赫爾曼的可證明安全理論就是在于證明是否可以將所設計的密碼算法歸約為求解某個已知數(shù)學難題。
破譯密碼的困難性，所需的工作量，即時間復雜性和空間復雜性，與數(shù)學問題求解的困難性密切相關。計算機科學的一個新分支——計算復雜性理論與密碼需的研究密切關聯(lián)起來了。
網(wǎng)絡化社會的今天，我們必定離不開電子計算機和通信。下面我們用通俗易懂的方式來講一下，我們今天孜孜以求的帶寬、WiFi、藍牙、GPS等與香農(nóng)的關系吧：
根據(jù)香農(nóng)（C.E.Shannon）在信息論研究中總結出的信道容量公式，即香農(nóng)公式：
C=W×Log2（1+S/N）
式中：C——信息的傳輸速率，S——有用信號功率，W——頻帶寬度，N——噪聲功率，也就是說：
為了提高信息的傳輸速率C，可以從兩種途徑實現(xiàn)，既加大帶寬W或提高信噪比S/N。換句話說，當信號的傳輸速率C一定時，信號帶寬W和信噪比S/N是可以互換的，即增加信號帶寬可以降低對信噪比的要求，當帶寬增加到一定程度，允許信噪比進一步降低，有用信號功率接近噪聲功率甚至淹沒在噪聲之下也是可能的。擴頻通信就是用寬帶傳輸技術來換取信噪比上的好處。
擴頻的出發(fā)點是加密，后來主要是用來減低干擾，同樣是香農(nóng)公式里面提到的另一個因子信噪比，也可以得到高帶寬。簡單來說，所謂降噪就是，帶寬越寬，抗干擾能力越強。但是，帶寬擴展上去了，信號功率就降低了，不符合市場經(jīng)濟。所以現(xiàn)代通信不是要無限擴大帶寬，而是要找平衡點?；谶@個思想，我們還在尋找這個平衡點。
如果前面說的還是過去和當下的影響，那么接下來就不得不佩服香農(nóng)的未來預示能力了。
香農(nóng)是最早提出信息智能化的學者之一。信息論與人工智能之機器學習同為涉及計算機科學和應用數(shù)學等學科的分支領域，這兩門交叉學科在起源和應用上有很多相似之處。不過，看起來神乎其神的機器學習，主要還是借用信息論的方法以此拓展理論研究和應用場景，比如關于分類計算上，借鑒于信息理論來創(chuàng)造和改進學習算法。
信息論中的一些度量也可以作為學習算法的度量。“學習就是一個熵減的過程”，學習的過程也就是使信息的干擾度下降的過程。比起傳統(tǒng)的經(jīng)驗公式為基礎的機器學習，以信息理論為基礎的機器學習也擁有無可比擬的優(yōu)勢。
好吧來個具體一點的例子。上個月人機大戰(zhàn)中的AlphaGo，其決策樹算法是戰(zhàn)勝人類的重要武器。那么，據(jù)來自于NSF博士論文《 Information Theory and its Relation to Machine Learning》所闡述，以互信息作為學習準則，例如以應用信息增益（歸一化的互信息）構造最簡結構決策樹就是其中一種應用。這種基于信息理論為學習準則的原理就是將無序數(shù)據(jù)轉變?yōu)橛行驍?shù)據(jù)，以信息熵差值作為測量尺度來評價轉換效果。
如今也有不少研究者猜想，在機器學習中，所有學習目標的計算表征都是可以用熵函數(shù)的優(yōu)化來描述或者解釋的。這個猜想給了機器學習界一個很好的研究著力方向。
我們紀念過那么多偉大的人物，不只在于膜拜。紀念不是掃墓，我們需要的是繼往開來，或者說利用前人的成果，探索更多的未知世界。香農(nóng)給了我們測量信息的方式，并未代替我們如何理解信息。把地球比作一只兔子，信息比作兔毛，我們還要努力爬到兔毛的頂端。雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
