0
本文作者: 奕欣 | 2017-08-14 03:09 |
雷鋒網(wǎng) AI 科技評論按:如果你常逛知乎,相信你對周博磊并不陌生。周博磊目前是 MIT 在讀博士生;知乎深度學(xué)習(xí)(Deep Learning)、機(jī)器學(xué)習(xí)、人工智能話題優(yōu)秀回答者,目前有近兩萬的知乎關(guān)注者。在 CVPR 2017 上,周博磊牽頭分別組織了一個 tutorial (http://deeplearning.csail.mit.edu/) 和 workshop (http://sunw.csail.mit.edu/),獲得了不錯的反響。
在參會期間,雷鋒網(wǎng) AI 科技評論與周博磊進(jìn)行了一次交流,他分享了對計算機(jī)視覺研究的一些心得體會。
周博磊,MIT CSAIL 五年級博士生,師從 Antonio Torralba 教授。本科于 2010 年畢業(yè)于上海交通大學(xué)生物醫(yī)學(xué)工程系,2012 年在香港中文大學(xué)取得信息工程碩士學(xué)位。研究方向為計算機(jī)視覺和機(jī)器學(xué)習(xí)。
個人主頁:http://people.csail.mit.edu/bzhou/
知乎主頁:https://www.zhihu.com/people/zhou-bo-lei/answers
CVPR 是計算機(jī)視覺領(lǐng)域的主流會議,物體識別和場景分析是計算機(jī)視覺里面的核心問題,邀請到的嘉賓也是在這個方向有重要貢獻(xiàn)的研究者,所以我們的那個 tutorial 整個是 full house(爆滿)。邀請的嘉賓之一 Ross Girshick(Facebook 人工智能實驗室研究科學(xué)家)和我在聊的時候也提到,他也挺驚訝有這么多人關(guān)注 object detection 的問題,而并不只局限于 GAN 和生成模型這些比較火的領(lǐng)域,畢竟物體識別還是計算機(jī)視覺的一個核心問題吧。群眾反響比較好的話,就說明這個(tutorial)還是辦得比較值得。
我邀請了愷明、Ross 還有曉剛老師,包括我自己,一起作為演講嘉賓,這個 Tutorial 的主題包括物體識別、場景識別以及神經(jīng)網(wǎng)絡(luò)的可解釋性問題等,都和大家的研究方向有關(guān),也是一個比較好的結(jié)合點(diǎn)。他們也是研究這個領(lǐng)域比較領(lǐng)先的學(xué)者,就這樣組織起了本次 CVPR 的一個 tutorial。(友情提示:演講 slide 已經(jīng)放在主頁上,視頻隨后也會放出)。
今年(CVPR)感覺華人(中國)公司挺多的,從論文角度來講,相對于理論和系統(tǒng)領(lǐng)域,計算機(jī)視覺一直也有很多華人在做研究。這次過來我更關(guān)注的是和人交流。新的 paper 很多其實在 arXiv 上面都有。主要還是和以前認(rèn)識的朋友重新聚一聚,和了解過工作的研究員進(jìn)一步面對面交流。
研究領(lǐng)域的話,其實 workshop 就是一個體現(xiàn)前沿趨勢的環(huán)節(jié),比如第一天的 visual interaction(視覺交互),雖然去的人不多,但我覺得是一個比較重要的方向。物體識別和檢測目前已經(jīng)做到極限了,那么物體之間的交互可能就會是進(jìn)一步的研究方向。
另外一方面是我自己馬上博士畢業(yè)了,準(zhǔn)備找找教職和 industry lab 的研究工作,CVPR 也是一個可以了解這些信息的來源。
現(xiàn)在比較火的應(yīng)該是視頻的分析和識別,包括谷歌和 Facebook 其實都投入了很大的人力在做,就像 Facebook 的機(jī)器學(xué)習(xí)組其實都招了挺多研究視頻的人,可能在 10 月份 11 月份的時候會發(fā)布一個更大的視頻數(shù)據(jù)集。我覺得可能未來會有更多的東西可以做。
另外,因為識別問題目前已經(jīng)做得非常好了,識別的下一步可能會是什么?下一步可能會是認(rèn)知的任務(wù),或是提升到推理的層面。比如系統(tǒng)識別出這里有個茶杯,但它是基于什么在支撐?其實是底下的桌子,這就是一個物體交互的過程,會涉及到更多認(rèn)知層面的東西。
在做研究的過程中,我一個很深的感受是,現(xiàn)在的深度學(xué)習(xí)或者說 AI 的研究變得越來越工程化了,變成一種群體作戰(zhàn)。這也可以解釋為什么現(xiàn)在公司其實是占優(yōu)勢的。因為它們有很多工程師,可以幫你把平臺搭得很好,有很多研究員一塊來做研究,整個事情就是一個比較龐大的系統(tǒng)工程;而不像之前,可能一個人兩個人在實驗室,就可以倒騰一個東西,現(xiàn)在可能變得越來越系統(tǒng)化了。
另外一點(diǎn)就是變得更平民化了?,F(xiàn)在大家的數(shù)據(jù)和代碼都很快開源,門檻變得越來越低。像本科生如果愿意去學(xué)的話,其實是可以很快在一個子領(lǐng)域做出一些突破的。這個研究也不一定會有多大的創(chuàng)新,但因為計算機(jī)視覺有太多的子任務(wù)了,所以選一個方向努力做幾個月,可能就可以在頂級會議上發(fā)一篇 poster,難度也不像五、六年前那么大。
以后會議可能更多的是一個交流的過程吧,現(xiàn)在 CVPR 的接收率接近 30%,可能在五、六年前只有 23%到 24% 的樣子,而且投稿的論文也幾乎 double 了(雷鋒網(wǎng) AI 科技評論按:CVPR 2017 年有效投稿 2620 篇,錄用 783 篇)。我第一次參加 CVPR 是在 2011 年的時候,開會的地方(Colorado Springs)就比較偏僻,參加者可能也就一千多人。
第二個是,深度學(xué)習(xí)方案確實開始 work 了,所以公司可以很快跟進(jìn)并整合到自己的系統(tǒng)里面。MIT 自己和三星、美國政府還有一些帶軍方背景的公司有合作,但高校一般不會和比較小的公司合作,因為小公司可能對產(chǎn)出有比較快的要求,如果是做基礎(chǔ)研究的話,不會那么快地看到產(chǎn)出。另外有些公司的需求可能也比較簡單,工程師也能做到的,就不需要放到學(xué)校里面來做。
但現(xiàn)在 AI 的整個研究變得越來越實際了,工業(yè)界以前是給學(xué)校資金支持,然后找一些有想法的老師一起合作;現(xiàn)在更普遍的模式是工業(yè)界自己建立研究院,雇傭一些老師來工業(yè)界,并且用 engineering 和資源去支持老師的研究工作。包括像李飛飛這樣的老師加入谷歌,因為谷歌的資源比較充足,她可以做更多的事情,如果這些都讓她實驗室里僅有的幾個學(xué)生來做的話,其實不太現(xiàn)實。一方面是學(xué)生自己也要花時間學(xué)習(xí),另外也沒有這樣的平臺或數(shù)據(jù)去從頭實踐這樣一個系統(tǒng)。
我對自然界的東西比較感興趣,有點(diǎn)像「師法自然」這樣的,喜歡研究各種生物系統(tǒng)。高中的時候我其實是搞生物競賽的,后來去了上海交大,大一在生物實驗室做了一陣子,覺得不是那么有意思。后來和侯曉迪一起玩樂隊的時候受他影響挺大的,開始上手視覺方面的研究,那時候還是 07,08 年的樣子,計算機(jī)視覺還不怎么 work。有意思的是,當(dāng)年侯曉迪推薦給我看的第一篇論文就是我現(xiàn)在導(dǎo)師(Antonio Torralba)的作品,當(dāng)時也沒想到后來會選他(做導(dǎo)師)。大三的時候就在計算機(jī)系那邊跟著張麗清老師做 CV 的研究,之后就到香港中文大學(xué)跟著湯曉鷗老師和王曉剛老師做研究,更加堅定了做研究的想法,碩士畢業(yè)后就來 MIT 了。
未來(選擇)留在學(xué)校對我的吸引力是多方面的吧。一方面是可以更自由地去做研究,第二個是可以帶學(xué)生,一起去做這件事情,也不是每個人都想去公司,對吧。
我覺得計算機(jī)視覺本質(zhì)上是一種 science(科學(xué)),怎么發(fā)現(xiàn)一個好的問題是更加重要的,可解釋性其實就是一個比較有意思的問題。當(dāng)時我們收集了很大的一個場景分類數(shù)據(jù)庫,訓(xùn)練了一個模型后發(fā)現(xiàn)準(zhǔn)確度非常高。我導(dǎo)師的第一篇論文就是做場景分類的,他就覺得很不可思議,為什么機(jī)器能夠達(dá)到人的水平。我們就開始做一些可視化的工作,后來這篇論文投到 ICLR 2015 上中了 oral,當(dāng)時也就十幾篇(oral)吧,而且其他的論文都是工業(yè)界的文章,像谷歌、微軟和 Facebook 這些。所以我們這篇論文就有種讓人眼前一亮的感覺,因為我們更像一種從科學(xué)角度去探討問題的感覺,從設(shè)計問題到實驗過程都不是那么工程化,本質(zhì)上更像是一種探索。
深度學(xué)習(xí)其實不是一個黑箱,它里面的結(jié)構(gòu)還是比較清楚,只是說大家覺得參數(shù)這么多好像很難理解。比如我們 15 年 ICLR 的工作就說明了一個這樣的問題,當(dāng)我們訓(xùn)練了一個場景分類的模型之后,它里面就學(xué)會了很多 object detector 的內(nèi)容。比如說你覺得這是一個客廳,是因為你看到里面有電視、有沙發(fā);那么我們在教神經(jīng)網(wǎng)絡(luò)識別的時候,它也是同樣檢測這張圖里有沒有電視和沙發(fā),然后再分類為客廳的。這個過程實際上和人的識別過程是很類似的,我覺得以后會有更多的工作去研究這方面的問題。(http://arxiv.org/pdf/1412.6856.pdf)
我前兩個月去參加了一個叫 VSS(Vision Science)的會議,這個會議主要探討的就是做 vision science 的人是怎么解決視覺問題的,他們就是從人腦、從認(rèn)知的角度去探討問題,對我的啟發(fā)也很大。
回到 CVPR 的 tutorial 上,其實昨天愷明和 Ross 分享的都是怎么把性能提升,怎么去訓(xùn)練一個更深的模型,這是故事的一個方面;故事的另外一方面是,這些訓(xùn)練得到的優(yōu)秀的表征到底有些怎樣的含義,如何比較不同的表征的語義性,能更好的幫助我們理解內(nèi)部的運(yùn)作機(jī)制,這也是我的一個研究方向。
并不是想成為「網(wǎng)紅」。在知乎上寫回答的一個原因是,現(xiàn)在誤導(dǎo)的信息比較多,所以我覺得有必要出來以正視聽吧,但我說的也不一定對,其實也只是把我自己的觀點(diǎn)表達(dá)出來,分享自己研究的一些心得體會。
MIT 其實很早就有 AI 了,有些老教授會覺得,如果把 AI 作為一個 popular science 去宣傳的話其實挺沒必要的,這樣對研究員的壓力很大,如果老想著要做能搞大新聞的研究,也不一定是好事。
(在知乎上回答問題)這也是對我自己的一個訓(xùn)練,就是怎么把自己的想法有邏輯地表達(dá)出來。這對研究員來說其實是比較欠缺的一部分,因為讀博的話可能就一個人埋頭深入研究,其實不知道怎么跟別人分享自己的想法。但如果有這么多人能覺得我寫的東西對他們有幫助的話,其實也是挺好的。
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。