0
(雷鋒網(wǎng))
作為斯坦福大學(xué)計算機(jī)科學(xué)系和電氣工程系的客座教授,吳恩達(dá)一直致力于深度學(xué)習(xí)的研究。在不同的場合,他一再表示:深度學(xué)習(xí)還有很大的潛力,是一項(xiàng)被證明有效的技術(shù),我們需要繼續(xù)加大投入。
為此他做了很多努力:其與達(dá)芙妮·科勒一起創(chuàng)建的在線教育平臺Coursera影響了數(shù)百萬的AI學(xué)習(xí)者;所開發(fā)的人工神經(jīng)網(wǎng)絡(luò)通過觀看一周YouTube視頻,自主學(xué)會識別哪些是關(guān)于貓的視頻為人工智能領(lǐng)域翻開嶄新一頁。
近日,MIT的 AI 科學(xué)家 Lex Fridman 對吳恩達(dá)進(jìn)行了專訪,在接受采訪的時候,從在線教育平臺Coursera談到了初學(xué)者如何進(jìn)入AI領(lǐng)域,并講解了他認(rèn)為的最高效的“學(xué)習(xí)姿勢”是什么樣的。
另外,其還回憶了他的第一個博士生,并簡單介紹了當(dāng)時研究直升機(jī)的項(xiàng)目......專訪視頻如下,由于視頻過長,AI科技評論在不改變吳教授邏輯的情況下,進(jìn)行了有刪改的編譯。
視頻內(nèi)容:
Andrew Ng: Deep Learning, Education, and Real-World AI | AI Podcast with Lex Fridman
1、Youtube鏈接:
https://www.youtube.com/watch?v=0jspaMLxBig
2、騰訊視頻鏈接:
https://v.qq.com/x/page/k3071n26rvo.html(由網(wǎng)友上傳)
我在香港和新加坡長大,第一次接觸代碼還是5、6歲的時候,當(dāng)時我學(xué)習(xí)基礎(chǔ)的編程語言,將一些代碼編入計算機(jī)里,當(dāng)時我也非常喜歡做一些編碼實(shí)例。
我在我的舊電腦上面實(shí)現(xiàn)我的想法,沉迷于將課本上的代碼復(fù)現(xiàn)到電腦上,因?yàn)槲矣X著用編程幫助我玩視頻游戲非??幔∧挲g稍微大點(diǎn),我就和我的醫(yī)生爸爸就閱讀相關(guān)的專家系統(tǒng)和神經(jīng)網(wǎng)絡(luò)知識,那時在計算機(jī)里寫代碼,然后展示智能是真的很棒!
高中的時候,我在辦公室做助理實(shí)習(xí),期間做了很多復(fù)?。╬hotocopy)的工作,當(dāng)時我就想,如果能寫一些軟件來造一個機(jī)器人來讓一些工作自動化,那該多棒。
從那時起,我的很多工作都圍繞著自動化這一主題展開,直達(dá)今天。我仍然以自動化為中心,甚至今天的機(jī)器學(xué)習(xí)在寫一些學(xué)習(xí)算法方面也非常出色。
另外,我在Coursera上也嘗試了將自動化應(yīng)用到校園教學(xué)上面。我在斯坦福教授機(jī)器學(xué)習(xí)的時候,每年會有大約400名學(xué)生,每一年我都會在相同的教授,拍攝相同的教學(xué)視頻,甚至講相同的笑話。我在想為什么我不用在最后一年拍攝的教學(xué)視頻,然后花更多的時間和同學(xué)們建立深刻的關(guān)系 ?這啟發(fā)了我的思考,然后我們發(fā)起了第一步的行動。
其實(shí)大多數(shù)人都不知道,我放在網(wǎng)上的教學(xué)視頻大多是晚上10點(diǎn)到凌晨3點(diǎn)之前錄制的。一開始的時候,壓力很大,我們想過要放棄,但是有十萬人注冊,成千上萬的人的期待促使我走向錄音棚,走向辦公室。開始錄制之前都會調(diào)整我的講課邏輯,調(diào)整歡迎致辭,開著麥克風(fēng),然后開始錄制,每每都會到夜里兩三點(diǎn),但是創(chuàng)作內(nèi)容的想法鼓勵著我希望有很多人學(xué)習(xí)機(jī)器學(xué)習(xí)。
我告訴我的團(tuán)隊(duì),我們首要任務(wù)是做對學(xué)習(xí)者有利的事情,每當(dāng)我往錄音棚走去,我腦子唯一的想法是我能說什么,如何才能讓學(xué)習(xí)者盡可能的了解機(jī)器學(xué)習(xí)概念。我認(rèn)為我們做了對的事情,我一直在堅(jiān)持基本原則,做對學(xué)習(xí)者最好的事情,即使學(xué)習(xí)者可能來自全球各地。
我很想幫助任何對機(jī)器學(xué)習(xí)感興趣的人進(jìn)入這個領(lǐng)域,你可能會好奇,為什么要發(fā)給這么多的時間來解釋梯度下降,其實(shí)回想一下學(xué)習(xí)的基本要求就知道了:任何進(jìn)階技能都可回溯到基礎(chǔ)概念。當(dāng)然,對人工智能感興趣的人非常多,這里面可能包括開發(fā)商,程序員,他們可能來自世界各地。確定的是,感興趣的人數(shù)還會隨著時間的推移而增長,所有的這些東西都不會憑空而來,所有一蹴而就的成功都需要花時間才能實(shí)現(xiàn)。
我第一次接觸到在線教育是把我在斯坦福講課的視頻傳到Y(jié)ouTube上面,隨后也建了網(wǎng)站,建造網(wǎng)站的好處是讓我可以進(jìn)行迭代,讓我們實(shí)現(xiàn)一些想法。當(dāng)時非常興奮,尤其開發(fā)了一個特別的登錄功能,即可以讓多個人同時登錄此網(wǎng)站,能夠讓多人同時看視頻。當(dāng)前的一些網(wǎng)站大多不支持此項(xiàng)功能,畢竟如果你已經(jīng)登錄了,我再想登錄,那么只有你注銷才可以。當(dāng)然也有許多失敗的教訓(xùn),其實(shí)如果有一些東西看起來很棒,然后沒有人使用,那么它實(shí)際上并沒有你認(rèn)為的那么棒。
2、機(jī)器學(xué)習(xí)會像教育一樣普及
整個機(jī)器學(xué)習(xí)運(yùn)動的興起,并不是憑空而來,越來越多的人在學(xué)習(xí)機(jī)器學(xué)習(xí),進(jìn)入這個領(lǐng)域的人還會影響他的朋友,所以這個AI學(xué)習(xí)者的比例還會不斷的增長。
尚不清楚AI開發(fā)人員占總開發(fā)人員的多少,但是占到50%以上的比例還是非常輕松的。畢竟AI不僅涉及機(jī)器學(xué)習(xí)建模,還要涉及機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)備、數(shù)據(jù)管道等。就像今天的開發(fā)工程師或多或少的都對“云”有些理解,但并不是都在工作里需要“云”。
我認(rèn)為這種現(xiàn)象以后在某種方式上會適用于AI開發(fā)者。曾幾何時,只有一小部分人識字,也許你認(rèn)為不是每個人都需要學(xué)會讀和寫,這些人只需要聽就夠了?但是當(dāng)一個國家的人基本上都認(rèn)識字的時候,這大大的促進(jìn)了人與人之間的交流。
在計算機(jī)方面,仍處于這個階段,如果人人都認(rèn)識代碼,都曉得機(jī)器學(xué)習(xí),這在某種程度上類似于識字教育普及。但隨著機(jī)器學(xué)習(xí)和數(shù)據(jù)規(guī)模的上升,我發(fā)現(xiàn)的是,我認(rèn)為在日常生活中,在工作中具體使用數(shù)據(jù)分析的人數(shù)非常多。
如果你在經(jīng)營一家商店,如果你能分析你的客戶的銷售數(shù)據(jù),那么你的價值非常高。在某種程度上這些人是數(shù)據(jù)科學(xué)家,因此,我認(rèn)為機(jī)器學(xué)習(xí)的數(shù)據(jù)跡象可能比軟件工程更容易進(jìn)入發(fā)達(dá)國家。
Peter是我的我第一個博士生,他有著評判性思維,當(dāng)時他的博士學(xué)位研究主題是用強(qiáng)化學(xué)習(xí)控制無人直升機(jī),直到現(xiàn)在你都可以在斯坦福網(wǎng)站上看到這些視頻。這項(xiàng)研究非常難,有一些事情無法克服,例如當(dāng)直升機(jī)倒飛時,你如何找出位置?如何定位直升機(jī)?我們嘗試了很多方法,但顯然問題出在GPS硬件上,當(dāng)時想過用兩個GPS定位,但沒有成功。為了解讀GPS信號,我們瘋狂索復(fù)雜的專門硬件配置,經(jīng)歷了很多失敗,最后解決方法采用在地面上安裝攝像頭解決定位問題。斯坦福那時候有很多強(qiáng)化學(xué)習(xí)的理論文章,但是實(shí)際應(yīng)用并不多,所以我們的研究在當(dāng)時非常有名。
我們今天可能又回到了原點(diǎn),強(qiáng)化學(xué)習(xí)的進(jìn)展目前如此令人興奮,但我們?nèi)匀辉趯ふ腋嗟膽?yīng)用場景。我非常喜歡研究理論,我希望我所做的工作會對人們產(chǎn)生積極的影響。我還記得,多年之前,我們和一位數(shù)學(xué)教授討論的時候,當(dāng)他說道他想做的事情的時候,他的眼里充滿了小星星,他說我之所以研究數(shù)學(xué),是因?yàn)樗鼛椭藗儼l(fā)現(xiàn)真相以及宇宙的美麗。所以,全力支持以及帶著尊重看別人的觀點(diǎn)非常棒,當(dāng)我看到我的團(tuán)隊(duì)正在幫助人們的時候,也會非常有動力。
這個世界上需要各種各樣的人,我只是其中一個,并不是每個人都像我一樣做事情,但是當(dāng)我鉆研理論或者實(shí)踐的時候,如果我堅(jiān)信這是一條幫助別人的道路,滿足感就會非常強(qiáng)烈。我們也有忽略的東西,那就是早期無監(jiān)督學(xué)習(xí)的重要性,在谷歌大腦的早期,我們在無監(jiān)督學(xué)習(xí)上投入的精力遠(yuǎn)超有監(jiān)督學(xué)習(xí)。當(dāng)前我們所知道的大部分都是通過有監(jiān)督的學(xué)習(xí)來實(shí)現(xiàn),從絕對有問題的論點(diǎn)來看,人類獲取信息的方式是通過查看圖像、收聽音頻和感悟他在這個世界上的經(jīng)歷。
所以無監(jiān)督的學(xué)習(xí)非常重要,當(dāng)然,這不是說有監(jiān)督學(xué)習(xí)不重要,畢竟早在幾年前,很多人認(rèn)為這才是進(jìn)步的方向。但是我們對“規(guī)?!钡奶剿骺赡苁钦_的,畢竟規(guī)模能夠?yàn)橄到y(tǒng)帶來性能。我在斯坦福小組的名為Adam成員經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn),我們訓(xùn)練的學(xué)習(xí)算法規(guī)模越大,效果越好。
為此他還畫了一個圖,并說服了我:當(dāng)模型的規(guī)模比在GPU上所做的大的多的時候,便能夠得到一個非常好的結(jié)果。或許這是一種有爭議的文化,當(dāng)時有很多朋友都說我追求規(guī)模的舉動非常糟糕。但是我發(fā)現(xiàn),如果你想取得突破,你必須對你所做的事情有信心,在事情流行之前做一些事情,會讓你更有影響力。
其實(shí)數(shù)據(jù)集的規(guī)模和學(xué)習(xí)機(jī)制都很重要,當(dāng)然這依賴于特定的問題,目前已經(jīng)有幾個數(shù)據(jù)表明,在基本錯誤率方面,我們正在接近或超過人類水平。如果我們看看最近使用你們的語言模型取得的突破,例如GPT-2和Bert,就會發(fā)現(xiàn)這是架構(gòu)和規(guī)模的結(jié)合。
我們已經(jīng)在管理cold thing方面在逐漸成熟,例如版本控制。但是我們在管理數(shù)據(jù)集方面并不成熟,例如軟件上一些亂七八糟的數(shù)據(jù)問題。高質(zhì)量數(shù)據(jù)集也非常重要,舉個例子,當(dāng)我們與制造公司合作時,標(biāo)簽不一致的情況非常多。(雷鋒網(wǎng))
對于大型互聯(lián)網(wǎng)公司,有很多數(shù)據(jù),錯幾個標(biāo)簽沒關(guān)系,但是對于小公司,并沒有大量的數(shù)據(jù),假如只有100個數(shù)據(jù),卻有10個錯誤標(biāo)簽,那么錯誤率就是10%,這對訓(xùn)練的影響會非常大。
一個人是如何進(jìn)入深度學(xué)習(xí)領(lǐng)域的呢?雖然大多數(shù)都是自學(xué)但是仍得益于專業(yè)化的設(shè)計。什么是序列模型?什么是注意力模型?是不是非得微積分才能理解這些概念,其實(shí)如果只在電腦上操作兩個矩陣相乘只需要高中知識就夠了。
當(dāng)然了,深入學(xué)習(xí)還需要線性代數(shù)的支撐,需要了解非?;镜闹R,了解一些編程。但是有人已經(jīng)做了機(jī)器學(xué)習(xí)的調(diào)用,所以進(jìn)行深度學(xué)習(xí)非常容易。
初學(xué)者在學(xué)習(xí)人工智能的時候,應(yīng)該多實(shí)踐,了解算法之間的不同之處,一開始不要費(fèi)心去收集數(shù)據(jù)。在學(xué)習(xí)的過程中要進(jìn)行自我測試,花時間修改架構(gòu),嘗試新東西,高效的構(gòu)建神經(jīng)網(wǎng)絡(luò),但規(guī)模也不要太大,神經(jīng)網(wǎng)絡(luò)的規(guī)模要在你可支出的范圍之內(nèi)即可。
你可以在前六個月建立一個完整項(xiàng)目,眼光不要只放在數(shù)據(jù)這一個小的方面。必須著手構(gòu)建實(shí)用的機(jī)器學(xué)習(xí)的系統(tǒng)思維框架,打個比方,我們在學(xué)習(xí)編程的時候哦,必須必須學(xué)習(xí)一些語法,Python也好,C++也好。但同樣重要的是,也許編碼中更重要的部分是理解如何將這些代碼融合在一起。什么時候應(yīng)該在函數(shù)列中放置一些東西?
你什么時候不放置?什么樣的框架能讓程序員更加高效?我記得當(dāng)我在卡內(nèi)基梅隆大學(xué)讀本科時,我的一個朋友會先試著用代碼來調(diào)試他們的代碼。他每一行都要注意語法錯誤。語法錯誤是可怕的,應(yīng)該學(xué)習(xí)如何調(diào)試。另外,機(jī)器學(xué)習(xí)程序中調(diào)試的方式與二進(jìn)制搜索方式非常不同。
非常擅長調(diào)試機(jī)器學(xué)習(xí)算法的人,會讓某些東西工作起來的速度很容易就快了10倍,也許是幾百倍,他們調(diào)試的過程非常高效。與學(xué)習(xí)數(shù)學(xué)類似,深度學(xué)習(xí)的一個挑戰(zhàn)是,有太多的的概念。如果你忽略了概念,那么你就可能弄不清后面要做的事情的前提條件。(雷鋒網(wǎng))
因此,在深度學(xué)習(xí)的專業(yè)化學(xué)習(xí)中,要盡量打破概念,最大限度提高可理解性。這樣的話,當(dāng)深入學(xué)習(xí)時,就會有足夠的信心。另外,我發(fā)現(xiàn),如果我嘗試教給學(xué)生最有用的技巧,并讓他們即刻使用,就會縮短他們“強(qiáng)制”學(xué)習(xí)的時間?,F(xiàn)在的世界變化太快了,也許幾年的時間就會天翻地覆,但我認(rèn)為我們還需要更多的進(jìn)行強(qiáng)化學(xué)習(xí)。
深度學(xué)習(xí)令人如此興奮,但人工智能團(tuán)隊(duì)不應(yīng)該只使用深度學(xué)習(xí),我的團(tuán)隊(duì)就會使用一系列的工具。有時候我們使用PC電腦,試圖在PC上找出解決問題的原因,有時候使用代理模型,有時候使用草稿,這里面或許會有一些對行業(yè)有巨大影響的內(nèi)容。
多樣化的技能可以幫助我們發(fā)現(xiàn)更適用解決問題的工具。在學(xué)術(shù)方面我也有期望。假如我只做學(xué)術(shù),并且有無限的預(yù)算,不用擔(dān)心短期的影響的話,我會把所有的精力都花在研究無監(jiān)督學(xué)習(xí)上,因?yàn)闊o監(jiān)督學(xué)習(xí)是一個美麗的想法,它讓人興奮。舉一個自監(jiān)督學(xué)習(xí)的例子:我在網(wǎng)上抓取了一些無標(biāo)簽的圖像數(shù)據(jù),數(shù)據(jù)的種類各種各樣,那么我會將每張圖片旋轉(zhuǎn)、翻轉(zhuǎn),然后訓(xùn)練一個有監(jiān)督的神經(jīng)網(wǎng)絡(luò)預(yù)測圖片原來的方位。
因?yàn)樾D(zhuǎn)了圖片,所以產(chǎn)生的有標(biāo)簽的數(shù)據(jù)就是無限多。研究人員已經(jīng)發(fā)現(xiàn),通過無標(biāo)簽數(shù)據(jù)和捏造標(biāo)簽數(shù)據(jù)集,然后訓(xùn)練一個大型的新網(wǎng)絡(luò),采用隱藏層表示并使用遷移學(xué)習(xí)能夠?qū)⑵滢D(zhuǎn)移到另一個強(qiáng)大的算法上面。無監(jiān)督學(xué)習(xí)越來越重要,并且在現(xiàn)實(shí)世界里發(fā)揮著作用,尤其是在計算機(jī)視覺領(lǐng)域,此概念融合其他學(xué)科的概念會讓人興奮。
我對稀疏編碼也非常感興趣,我看到過一個慢特征分析,其想法可以追溯到我們十年前的工作內(nèi)容,但當(dāng)時我們都被監(jiān)督學(xué)習(xí)所分散精力,所以希望研究者可以圍繞主題探索更多的工作,以便能夠出圈。
對于初學(xué)者來說,大概是16周可以完成深度學(xué)習(xí)專門的課程,也有的人在不到一個月的時間完成學(xué)習(xí)、也就是說,這取決于個人情況,我們在Course上面提供了非常專業(yè)化的課程,非常容易獲得,也很實(shí)惠。如果學(xué)生經(jīng)濟(jì)困難,那么就可以申請經(jīng)濟(jì)援助也是可以的。
在學(xué)習(xí)深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的時候,養(yǎng)成學(xué)習(xí)習(xí)慣是關(guān)鍵,因?yàn)檫@意味著規(guī)律性。對我自己來說,我養(yǎng)成了每周六和周日花點(diǎn)時間看書或?qū)W習(xí)的習(xí)慣,習(xí)慣會讓人變得更容易。所以就像你刷牙的習(xí)慣一樣,不會認(rèn)為那刷牙的那兩分鐘所做的事情是煩人的。
記住,學(xué)習(xí)者不需要有認(rèn)知負(fù)擔(dān)的習(xí)慣,但要做到這一點(diǎn)一開始會非常困難。確信自己能夠養(yǎng)成不需要做決定的習(xí)慣,學(xué)會堅(jiān)持不懈!讀研究論文是一件非常好的事情,“不讀論文”的能力可以來自一年里每周都讀論文,當(dāng)你讀了一百篇論文之后,你會學(xué)到很多。
關(guān)于學(xué)習(xí)的技巧,提倡手寫筆記。對于我來說,當(dāng)我深入研究某件事時,我會用手寫下來。當(dāng)然,視情況而定,不是每個人都適用,例如很多人在通勤途中的學(xué)習(xí),書寫就非常不方便。但是總的來說,手寫筆記可以提高記憶力,能夠讓人們更多的回憶知識點(diǎn),促進(jìn)了人們的長期注意力的集中。
然后在寫筆記的過程中,注重總結(jié),可以寫的慢一點(diǎn),但要對學(xué)習(xí)的內(nèi)容深層次總結(jié)。在學(xué)習(xí)過程中,實(shí)際上課程作業(yè)是人們進(jìn)入新領(lǐng)域并學(xué)習(xí)概念知識的一種非常有效的方式。
博士生如果想投入研究,實(shí)際上最好的做法,是在開始幾年的花時間奠定基礎(chǔ),雖然頭幾年的工作效率比較低,但是長遠(yuǎn)來看,確是非常棒。從小事做起,循序漸進(jìn),不要一上來就處理大項(xiàng)目,可以拿小項(xiàng)目練練手。當(dāng)然,最關(guān)鍵的是先邁出第一步,然后再邁出一小步。
機(jī)器學(xué)習(xí)中最令人著迷的事情就是即使你沒有博士學(xué)位也能做一些有影響力的事情。
當(dāng)然了如果有人被麻省理工或者斯坦福等頂尖高校錄取,那么也是一次極好的經(jīng)歷。另外,如果有人想成為一所頂尖大學(xué)的教授,那么就必須擁有一個博士學(xué)位。
另外,我建議你得到一份工作的時候,要問誰是你的經(jīng)理?你周圍的同齡人都有誰?因?yàn)槲覀兌际巧鐣?,我們往往變得更像我們周圍的人。如果你為?yōu)秀的人工作,你會學(xué)得很快。如果一家公司不告訴你與誰一起工作,或者說是輪換制度,我覺著這可能是一個令人擔(dān)憂的答案,因?yàn)檫@意味著你無法與優(yōu)秀的人一起工作。
很多初創(chuàng)企業(yè)的失敗都來自于產(chǎn)品制造,因?yàn)樗麄兊漠a(chǎn)品沒人想要。我本身傾向于結(jié)果以及客戶驅(qū)動的商業(yè)模式。只有當(dāng)客戶決定給你的產(chǎn)品伸大拇指,還是小拇指的時候,才能決定你的成敗。
在短期可能會得到各種用戶的青睞,最重要的還是長期,所以當(dāng)你創(chuàng)辦一家企業(yè)的時候,要問自己一個問題:客戶會有什么想法?我們所有人都應(yīng)該只做我們認(rèn)為能創(chuàng)造社會公益、推動世界前進(jìn)的事情。無論是在企業(yè),還是在學(xué)術(shù)環(huán)境中,最有意義的方法一直是為人們服務(wù)。
所以我個人并不想支持制造令人上癮的數(shù)字產(chǎn)品,因?yàn)檫@些產(chǎn)品只要帶著“有利可圖”的屬都能做到“上癮”。當(dāng)我還在百度領(lǐng)導(dǎo)人工智能小組時,我的工作分為兩個部分。其一是建立一個AI引擎支持現(xiàn)有的商業(yè)模式。第二個工作是嘗試啟動公司新的業(yè)務(wù)線,即把公司的人工智能使用上。
所以自動駕駛業(yè)務(wù)并入了我的小組。當(dāng)時我就想建立人工智能基金,并從零開始系統(tǒng)地打造新的創(chuàng)業(yè)公司。我想這會是團(tuán)隊(duì)追求豐富企業(yè)空間的一種重要方式。這種機(jī)制對完成項(xiàng)目,推動世界向前發(fā)展有重要的影響。非常幸運(yùn)的是,我建立了幾個研究小組,也產(chǎn)生了一些積極的影響。接下來我會用更加系統(tǒng)的方式運(yùn)營。
工作室最開始是新的概念,現(xiàn)在可能有了幾十個了,很多團(tuán)隊(duì)仍然試圖想找出如何高成功率運(yùn)行公司的方法。我的一些風(fēng)投朋友也似乎越來越多的想創(chuàng)建一家公司,而不是投資一家公司,因?yàn)樽蠲匀说氖虑槭冀K是如何創(chuàng)建一家成功的公司?,F(xiàn)在已經(jīng)在給創(chuàng)業(yè)者提高成功率方面已經(jīng)做得很好了,但是在全球范圍內(nèi)還處在早期的階段。
對大多數(shù)創(chuàng)業(yè)者來說,開一家公司真的是一件寂寞的事情,有太多的企業(yè)家不知道如何做出決定。例如在銷售的時候,在投放廣告的時候......企業(yè)家需要做出數(shù)百個決定,而在幾個關(guān)鍵決策中犯錯誤會對公司的命運(yùn)產(chǎn)生巨大的影響。因此,我認(rèn)為工作室會給初學(xué)者提供支持,讓創(chuàng)建公司不再是孤獨(dú)的經(jīng)歷。
此外,當(dāng)面對一些關(guān)鍵的決策的時候,例如在雇用第一個工程副總裁的時候,雇傭標(biāo)準(zhǔn)是什么?如何雇傭?工作室至少在關(guān)鍵時刻能給這些人一些幫助。另外也希望幫助他們對關(guān)鍵決策的“時點(diǎn)”有意識。
一家大公司如何將機(jī)器學(xué)習(xí)融入到他們的工作中呢?人工智能是一項(xiàng)通用技術(shù),它將改變每個行業(yè)。其實(shí),我們的AI社區(qū)已經(jīng)在很大程度上進(jìn)行了改變,大多數(shù)軟件互聯(lián)網(wǎng)并不是頂級的,其只要具備合理的機(jī)器學(xué)習(xí)能力,就有很大的改進(jìn)空間。軟件互聯(lián)網(wǎng)領(lǐng)域之外行業(yè),例如制造業(yè),農(nóng)業(yè),醫(yī)療保健,物流,運(yùn)輸,有非常多的機(jī)會,但很少的人在使用人工智能。所以我認(rèn)為人工智能的下一步是改變所有其他行業(yè)。因此,我們需要更多的團(tuán)隊(duì)為這類公司工作,幫助他們部署AI。除了互聯(lián)網(wǎng)軟件行業(yè),所有的行業(yè)都很有潛力,畢竟這是我花了很多時間在制造業(yè)、農(nóng)業(yè)、醫(yī)療保健等方面才得出結(jié)論。舉個例子,在制造業(yè)中,計算機(jī)視覺發(fā)揮了很大的作用:用深度學(xué)習(xí)訓(xùn)練一個算法,然后讓其識別產(chǎn)品是否有缺陷,然后給出工廠如何改進(jìn)的建議,以便提高產(chǎn)量和質(zhì)量。事實(shí)證明,此過程遇到的實(shí)際問題可能與你猜想可能遇到的問題大不相同。在大多數(shù)研究中,首先數(shù)據(jù)集的規(guī)模幾乎是不夠的,另一方面還需要考慮工廠的實(shí)際情況,可能模型在訓(xùn)練集上效果很棒,但如果工廠改變了一些東西,例如燈的亮度,算法的準(zhǔn)確率就不會很高。然而這些問題,學(xué)術(shù)界大多都沒有討論。
我曾經(jīng)在網(wǎng)上發(fā)表了一份《人工智能轉(zhuǎn)型手冊》,簡單的介紹了每個公司在轉(zhuǎn)型的時候應(yīng)該避免的坑。而第一步實(shí)際上是從小事做起,但是很多公司的失敗都是因?yàn)橐婚_始“大而不實(shí)”。
以谷歌大腦為例,當(dāng)時很多人認(rèn)為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)沒啥用,我和我的團(tuán)隊(duì)從小事做起,建立了一個準(zhǔn)確率高的語音識別系統(tǒng),然后其他團(tuán)隊(duì)開始青睞深度學(xué)習(xí)。
第二個例子是谷歌地圖,我們使用計算機(jī)視覺從基本的街景圖像中讀取房屋編號,以谷歌地圖更準(zhǔn)確地定位房屋。也就是用深度學(xué)習(xí)來提高地圖數(shù)據(jù)的質(zhì)量。通過兩次的成功,我們逐步建立了人工智能項(xiàng)目的發(fā)展勢頭,然后才開始了與谷歌廣告團(tuán)隊(duì)進(jìn)行對話、合作。雖然只前期都是小規(guī)模的項(xiàng)目,但讓我們的團(tuán)隊(duì)獲得信心。
記得,我們當(dāng)時只有一臺GPU,但是卻從如何探索多人共享方面學(xué)到了很多東西,這也幫助我們團(tuán)隊(duì)思考如何將其擴(kuò)展到更大的部署。建立和部署機(jī)器學(xué)習(xí)是非常困難的,在電腦中運(yùn)行notebook文件和在具體實(shí)際情況中部署之間有著巨大的鴻溝。
很多人低估了算法部署到生產(chǎn)所要花費(fèi)的精力,一些算法在測試集上做的很好,但是用在實(shí)處卻不起作用,例如把工廠附近的樹木砍掉,測試集會發(fā)生變化,算法是否能發(fā)揮效力不得而知。在學(xué)術(shù)界,當(dāng)測試集和訓(xùn)練集之間的概率分布是不同的時候,如何處理尚未得到好的解決辦法。當(dāng)然,遷移學(xué)習(xí)正在為這方面工作做努力,但是我們真的不擅長處理此類事情。如果你看看軟件系統(tǒng)中的代碼行數(shù),機(jī)器學(xué)習(xí)模型可能只占整個軟件系統(tǒng)的5%甚至更少,那么如何完成接下來的工作,并使其更加系統(tǒng)和可靠呢?需要明確的是,良好的軟件工程是基礎(chǔ),也是構(gòu)建小型機(jī)器學(xué)習(xí)系統(tǒng)的基礎(chǔ)。
拿自動駕駛來說,最大的問題不是“電車難題”是,最大的問題是當(dāng)一輛車橫穿馬路時,最大的問題是你應(yīng)該做的是剎車而不是撞上它。
另一個道德問題是財富不平等,人工智能和互聯(lián)網(wǎng)正在引發(fā)權(quán)力集中,因?yàn)閿?shù)據(jù)擁有可以高效的分析數(shù)據(jù),會影響眾多產(chǎn)業(yè)。
互聯(lián)網(wǎng)很多行業(yè)有“贏家通吃”的動力,同時這些動力影響著其他的行業(yè)。
所以重點(diǎn)是如何確保財富得到公平分享呢?如何幫助失業(yè)的人?除了教育之外,我們可能還需要做更多的事情。然而偏見也是一個嚴(yán)重的問題。故意對遙遠(yuǎn)的未來可能出現(xiàn)的問題的事情大做文章,而不是把重點(diǎn)放在當(dāng)前硬件方面的問題上,會掩蓋我們今天已經(jīng)存在的問題。
我也犯了很多錯誤,但是每次改正,我都會想為什么不早五年,甚至早十年想到這一點(diǎn)呢?
有時候我讀了一本好書,我希望我10年前就讀過這本書,要是10年前就讀了可能我的生活是如此的不同,盡管這是最近發(fā)生的。在我們發(fā)現(xiàn)的過程中,不斷地發(fā)現(xiàn)那些事后看起來如此明顯的東西,它總是比我想要弄清楚的時間要長得多。
我最自豪的滿足和幸福的就是我的女兒,但我沒有花足夠的時間來陪陪她。
幫助別人也能使我得到滿足,對我來說,生命的意義是希望別人實(shí)現(xiàn)他們的夢想,我希望試圖通過使人類作為一個整體更加強(qiáng)大來推動世界的前進(jìn)。所以,當(dāng)我知道別人因?yàn)槲易兊煤靡恍┑臅r候,我也會非常自豪和幸福。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。