0
本文作者: 田苗 | 2018-01-19 14:18 |
今日,極客公園創(chuàng)新大會 IF 2018 在北京召開,Google Brain 首席工程師陳智峰分享了《尋找答案從定義問題開始——TensorFlow 可以用來做什么?》的演講。
演講中,雷鋒網(wǎng)發(fā)現(xiàn)他展示了一張谷歌搜索圖,其中顯示過去的 7-8 年,人們對深度學習的搜索量增長了大約有 100 倍,不管是學術(shù)界還是工業(yè)界,對深度學習的關(guān)注度近幾年有了快速的增長。于是,谷歌在 2015 年 10 宣布開源 TensorFlow,如今這也成為目前較完整的深度學習軟件開發(fā)平臺。
那么,這個平臺到底能為谷歌和其他開發(fā)者做什么?近兩年它又有哪些進展?除此之外,雷鋒網(wǎng)更想知道 Goolge Brain 整個團隊正在做哪些研發(fā)?雷鋒網(wǎng)將其演講全文整理如下。
深度學習這幾年非常流行,在這張圖上,大家可以看到在Google的搜索流量里面,深度學習在過去的7-8年時間里面,增長了大概100倍,從這個側(cè)面也反映出學界和工業(yè)界對這個技術(shù)的關(guān)注程度,是在迅速的提高。大家都想知道,深度學習是什么,它能夠為我們做什么?我如何把這個技術(shù)應(yīng)用到實際場景當中去。
其實,深度學習并不是一個突然出現(xiàn)的技術(shù)領(lǐng)域,核心算法就是神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)是一種機器學習的模型,這個模型主要特點就是,它可以擬合任何數(shù)學上的函數(shù),特別是利用大數(shù)據(jù)反復(fù)迭代的一種,類似于方法來訓(xùn)練好這個模型。
隨著大數(shù)據(jù)的普及,計算機硬件算力的發(fā)展,還有算法本身的突破,大家突然發(fā)現(xiàn),這個以神經(jīng)網(wǎng)絡(luò)模型為核心的深度學習技術(shù),在很多應(yīng)用領(lǐng)域都可以大大的提高過去軟件系統(tǒng)需要完成的任務(wù),最經(jīng)典的應(yīng)用領(lǐng)域大家肯定很熟悉,就是圖像識別領(lǐng)域,自2012年以來,在這個領(lǐng)域,自動圖象識別的錯誤率從20%一直持續(xù)下降到4%點多,已經(jīng)超過了一個普通人分辨的圖像的能力。
Google在好多年前就已經(jīng)開始把深度學習的技術(shù)應(yīng)用到它很多產(chǎn)品當中,在這個過程當中,我們也迭代、開發(fā)了好幾代支持深度學習的軟件系統(tǒng),最終導(dǎo)致我們在2015年10月開源了TensorFlow,借此希望能夠進一步推動深度學習的應(yīng)用和研究。
TensorFlow現(xiàn)在已經(jīng)演化成一個相當完整的深度學習軟件開放平臺,比如說,它支持CPU、GPU混合搭建的數(shù)據(jù)中心的訓(xùn)練平臺,它也支持將數(shù)據(jù)中心訓(xùn)練出來的好的模型,相對便捷的部署到不同的移動端應(yīng)用上,可以支持類似Google自主研發(fā)的特別定制的TPU處理器,這種多平臺的支持,我們覺得可以幫助到最多的用戶和應(yīng)用場景,我們同時也非常感謝很多業(yè)界的同行對我們的支持,比如說在美國Intel和英偉達都在幫助我們優(yōu)化TensorFlow在他們各自硬件上的性能。
支持多種硬件的平臺是基礎(chǔ),TensorFlow一直以來的一個目標,就是能夠幫助盡量多的開發(fā)者,能夠把深度學習的技術(shù)利用起來,最終使得廣大的用戶從中能力得到益處,基于這個想法,TensorFlow一直很重視多種程序員開發(fā)環(huán)境的支持。比如說,開發(fā)者可以在主要的開發(fā)環(huán)境中使用TensorFlow。
TensorFlow在我們公司內(nèi)部的應(yīng)用推廣是非常全面和徹底的,比如說TensorFlow很早就幫助Google的核心業(yè)務(wù)(搜索和廣告),實施了深度學習的模型,并且在核心業(yè)務(wù)上體現(xiàn)了他們的性能。
在垃圾郵件過濾也使用了TensorFlow訓(xùn)練的模型,同時在安卓的應(yīng)用程序推薦上,也上線了TensorFlow的模型等等。很多TensorFlow應(yīng)用都是發(fā)生后臺,大多數(shù)用戶可能沒有直接的體驗,這里我舉幾個在移動端的例子來說明深度學習,其實已經(jīng)很直接的影響了成千上萬的用戶。
比如說,安卓手機最近的版本當中增加了一個自拍功能,這個自拍功能就是通過應(yīng)用深度學習訓(xùn)練出來的視覺模型,可以非常準確的分離前景像素和后景像素,對前景像素和后景像素分別處理,這樣的話就可以實現(xiàn)背景虛化這樣的功能。
實現(xiàn)這種功能,傳統(tǒng)上,手機廠商需要增加第二個攝像頭,這就會增加手機的成本,同時對現(xiàn)有用戶已經(jīng)獲得的手機就不太容易獲得這樣的效果,通過新的算法,可以實現(xiàn)一些過去可能非常昂貴才能實現(xiàn)的效果。
和圖像處理一樣,語音處理是另一個被深度學習深刻改變的領(lǐng)域,語音識別要比圖像處理更早的采用神經(jīng)網(wǎng)絡(luò),產(chǎn)品方面,這些年智能音箱語音主力大行其道,其中一個很大的原因就是深度學習算法把語音識別和語音生成的技術(shù)門檻大大地降低了,過去可能需要20—50個博士的團隊才能完成的任務(wù),現(xiàn)在就下載一個現(xiàn)有模型定制一下,就可以達到同樣的效果。通用的機器學習框架,可以幫助到更多的開發(fā)人員,開發(fā)出適合自己特定應(yīng)用場景的語音應(yīng)用。
另外一個例子,機器翻譯現(xiàn)在你可以用手機拍一張照片,手機軟件可以自動的識別出圖形中的文字,把文字翻譯成另外一種語音,看似簡單的應(yīng)用,其實是圖像技術(shù)和機器翻譯技術(shù)很自然的結(jié)合。
我很有幸一年多前參與了谷歌內(nèi)部,把過去的翻譯系統(tǒng)升級為神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的系統(tǒng),我們從這些圖像可以看到,那次升級極大的降低了機器翻譯的錯誤率,一些語言之間的翻譯,幾乎可以達到人工翻譯的效果。
利用深度學習技術(shù),我們不僅可以大幅度的提高已有產(chǎn)品的功能和性能,我們還開發(fā)了一些過去很難想象的新功能,比如說郵件自動回復(fù)的功能,安卓上的郵箱軟件可以分析用戶的郵件,比如說你今天早上收到一份你朋友發(fā)的郵件,晚上是不是要到哪里吃飯,大多數(shù)情況只有三種可能的回答,比如說我會準時到或者是對不起我沒有空不能來,或者是我有空,但是我可能需要晚一點到。我們現(xiàn)在郵箱會自動地給你提供三個選擇,這樣的話在路上看到郵箱,只要一鍵就可以完成郵件的恢復(fù),極大的方便了用戶在手機上處理郵件的效率。
通過前面我講的很多應(yīng)用例子,我們可以看到一個通用的深度學習框架,可以幫助到現(xiàn)有很多互聯(lián)網(wǎng)上的應(yīng)用提高他的智能水平,但是我們也可以看到,TensorFlow這樣深度學習的框架,在其他許多領(lǐng)域也可以得到領(lǐng)域,比如說我們在倫敦的同事,過去兩年努力推進AlphaGo在工作就非常得益于TensorFlow框架本身的幫助,因為TensorFlow在利用超大計算機集群和最新加速器方面的支持,AlphaGo的團隊可以更加專注于算法的研究。
我們組也有人在做智能醫(yī)療工作方面,由于TensorFlow是一個通用的框架,他們可以很方便的重用現(xiàn)在已有的圖像識別模型或者是自然語言處理的模型,針對特定的應(yīng)用領(lǐng)域和數(shù)據(jù),重新訓(xùn)練微調(diào)一下你的模型,就可以達到在檢測視網(wǎng)膜病變?nèi)蝿?wù)上面超過95%的準確率,這個準確率已經(jīng)超過了普通眼科專家91%的準確率。
在自動駕駛方面,我們在Alpha Waymo的同事,也在利用TensorFlow不斷改進他們自動駕駛系統(tǒng)當中的深度模型,包括對路況場景的分割、雷達信號的處理等等。
我們特別欣慰的是通過把TensorFlow開源,我們真的利用深度學習技術(shù)的門檻大大降低了,過去兩年我們看到很多和互聯(lián)網(wǎng)毫無相關(guān)的行業(yè),也開始嘗試利用深度學習的技術(shù)和方法,比如說這家公司是一個嬰兒食品制作的公司,引進了TensorFlow訓(xùn)練好的智能系統(tǒng),這個智能系統(tǒng)可以把嬰兒食品的原料進行分類,把一些爛掉的蘋果和香蕉更準確的排除出去,這樣可以大大準確的控制嬰兒食品的質(zhì)量。
我們也很興奮的看到TensorFlow在計算機科學以外的科學研究上,也得到了使用,比如說上個月美國航天總署宣布一項研究成果,美國航天總署有個開普勒計劃,他們的科學家和我們的同事聯(lián)合開發(fā)了一個TensorFlow的模型,開普勒計劃本身的目標是通過在望遠鏡持續(xù)不斷地觀察太空中恒星亮度的變化,希望發(fā)現(xiàn)太陽系以外的行星系統(tǒng),最終希望發(fā)現(xiàn)另外一個適宜人類居住的行星。目前該計劃已經(jīng)積累了上百億個觀察數(shù)據(jù),幾個月前這個TensorFlow的模型,幫助科學家發(fā)現(xiàn)了2500光年以外的開普勒90星系中發(fā)現(xiàn)了第八顆行星。
人們不僅仰望星空,同時我們在回望我們的地球,在這個應(yīng)用的例子里面,澳大利亞的科學家用TensorFlow開發(fā)的圖像識別模型,在數(shù)萬張海洋航拍圖照片中,可以快速并且準確的找到需要保護的大型海洋哺乳類動物,比如說可愛的動物,就是澳大利亞附近的珍惜動物海牛。類似也有科學家,利用TensorFlow把語音處理技術(shù)用到鳥類保護上,他們在叢林里安裝了很多話筒,采集鳥類的聲音,模型就可以很準確的估算出鳥類在一片森林中的數(shù)量,從而可以更加精準地對他們實行保護。
我們組還有同事進行一些非常有意思的應(yīng)用,他們正在嘗試利用深度學習的技術(shù)來創(chuàng)造音樂,很有意思的是,這些音樂創(chuàng)作的樂曲,還受到了專業(yè)DJ的肯定。
TensorFlow自2015年開源以來,我們一直在努力投入,最近我們開始加大力度對中國市場的支持,比如說我們正在建立一個TensorFlow的中文網(wǎng)站,TensorFlow的開發(fā)者也實現(xiàn)了快速的增長,同時,我們也看到超過1000多人參與了TensorFlow的開發(fā),這是一個非?;钴S的社區(qū)。
另外,我們的數(shù)據(jù)也顯示,到目前全球180多個國家,各種用戶已經(jīng)下載了超過1000萬次的TensorFlow開發(fā)包,這表明TensorFlow的應(yīng)用開發(fā)也是非常普遍的。
前在中國有大量的開發(fā)人員在持續(xù)的關(guān)注TensorFlow,事實上,我們在自己和眾多的中國公司建立伙伴關(guān)系,積極的支持和幫助他們更好的使用TensorFlow。
比如說京東內(nèi)部搭建了TensorFlow訓(xùn)練平臺,用于開發(fā)圖像、自然語言相關(guān)的模型,并且把他們用到客服廣告等領(lǐng)域。小米也在嘗試類似的技術(shù)路線,支持他們生態(tài)線上各種特殊的應(yīng)用。網(wǎng)易的有道筆記、網(wǎng)易翻譯君也使用了TensorFlow視覺和語言的模型。
非常感謝我們的用戶和合作伙伴對TensorFlow的反饋,TensorFlow也正在努力開發(fā)新的功能,在去年我們開發(fā)了TensorFlow一個模式,這個模式希望能夠更加有利于前端的開發(fā),便于調(diào)試,支持更多動態(tài)的變成模式。
在這里可以右邊有一個很簡短的程序,在這個程序中,大家應(yīng)該能夠看出一個模式最主要的特征就是在前端的程序流程中,可以更加直接的反映程序算法邏輯本身的流程,這一點我們相信會特別有助于快速原形的開發(fā)和調(diào)試。
另外,TensorFlow在過去一年中主要推進的項目是TensorFlow Lite模式,這個模式是專門針對移動和嵌入式應(yīng)用場景打造的機器學習平臺,它的目標是希望把部署機器學習在云端訓(xùn)練的模型,更加簡單、高效的遷移到移動端上進行部署。
最后,我們也在開發(fā)新一代深度學習硬件加速器TPU,去年我們宣布了第二代處理器,這個處理器可以達到180萬億次浮點運算的性能,有64千兆的內(nèi)存,如果我們把這樣的處理器集成在一起,搭建一個集群,這個集群我們估算到,可以非常容易排到世界上超級計算機的前五名。
目前我們正在內(nèi)部各種產(chǎn)品研發(fā)中使用TPU二代,并且有計劃在不久的將來開放給公眾使用。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。