0
| 本文作者： 楊文 | 2017-08-25 11:19 |
8月19日下午，由雷鋒網(wǎng)主辦，清華數(shù)據(jù)派THU承辦的第二期“GAIR大講堂CVPR清華專場(chǎng)”活動(dòng)圓滿結(jié)束，本次活動(dòng)共吸引來(lái)自北京各大高校100多名同學(xué)前來(lái)傾聽(tīng)。AI科技評(píng)論作為獨(dú)家合作媒體也前往活動(dòng)現(xiàn)場(chǎng)進(jìn)行了報(bào)道。
當(dāng)日雖酷暑難耐，現(xiàn)場(chǎng)還是座無(wú)虛席。部分同學(xué)因天氣太熱拿起了人手一份的活動(dòng)宣傳頁(yè)扇風(fēng)降溫，也沒(méi)選擇離開(kāi)活動(dòng)場(chǎng)地，這足以看出他們對(duì)本次活動(dòng)的關(guān)注熱情。
四位分享嘉賓分別是：
清華大學(xué)自動(dòng)化系三年級(jí)博士生 段岳圻
Momenta 研發(fā)總監(jiān)&聯(lián)合創(chuàng)始人 孫剛
中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生 鄭賀亮
中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生 邱釗凡
段岳圻分享的論文題目是：Learning Deep Binary Descriptor with Multi-Quantization （多量化深度二值特征學(xué)習(xí)） 他分別從四個(gè)方面介紹了他的論文研究：背景介紹，文章方法，實(shí)驗(yàn)結(jié)果，參會(huì)心得。
圖中「存儲(chǔ)庫(kù)圖片特征」和「特征匹配」為什么標(biāo)注橘紅色了呢？段岳圻介紹道，像訓(xùn)練模型、提取庫(kù)圖片特征都可以線下花幾個(gè)月搞定，而存儲(chǔ)庫(kù)里的圖片特征要一直存儲(chǔ)在云端里，不然輸入的圖片沒(méi)有辦法進(jìn)行特征對(duì)比。在線部分中的特征匹配也是需要很多輪的特征對(duì)比和匹配，所以做了重點(diǎn)標(biāo)注。該論文用的是非監(jiān)督深度學(xué)習(xí)方法，非監(jiān)督或弱監(jiān)督學(xué)習(xí)是未來(lái)發(fā)展趨勢(shì)，大名鼎鼎的楊立昆(YannLeCun)教授曾說(shuō)過(guò)，非監(jiān)督學(xué)習(xí)是讓機(jī)器獲得常識(shí)的一個(gè)嘗試。
文章方法介紹：深度二值特征學(xué)習(xí)因其存儲(chǔ)和匹配的高效性，近年來(lái)在學(xué)術(shù)界持續(xù)受到關(guān)注?，F(xiàn)有的深度二值特征學(xué)習(xí)方法采用符號(hào)函數(shù)對(duì)實(shí)值特征進(jìn)行二值化，未能考慮數(shù)據(jù)分布，從而導(dǎo)致了較大的量化損失。這篇論文將二值化過(guò)程看作非監(jiān)督多量化問(wèn)題，提出了基于K-自編碼網(wǎng)絡(luò)的深度多量化算法，并將其應(yīng)用于深度二值特征學(xué)習(xí)，提出了多量化深度二值特征學(xué)習(xí)，降低了二值化造成的量化損失。實(shí)驗(yàn)結(jié)果證明了本文方法的有效性。
最后段岳圻同學(xué)也分享了CVPR 2017的參會(huì)心得。
第二位分享嘉賓是Momenta 研發(fā)總監(jiān)、聯(lián)合創(chuàng)始人孫剛博士，分享題目是：ImageNet冠軍模型SE-Net詳解。
孫剛博士不僅是Momenta 研發(fā)總監(jiān)、聯(lián)合創(chuàng)始人，同時(shí)還是高性能并行計(jì)算系統(tǒng)專家、大規(guī)模圖像識(shí)別專家、ImageNet 2017 圖像分類冠軍、ImageNet 2016 場(chǎng)景分類亞軍。這篇論文作者提出了一種新穎的神經(jīng)網(wǎng)絡(luò)模塊稱為Squeeze & Excitation（簡(jiǎn)稱SE），以此大幅提升模型的精度。通過(guò)Squeeze 和Excitation操作，SE模塊自動(dòng)對(duì)特征重新分配權(quán)重，增強(qiáng)對(duì)識(shí)別有用的特征，而抑制無(wú)效或收益甚微的特征。在引入極少計(jì)算和參數(shù)量的情況下，將現(xiàn)有絕大多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)的性能大幅提升。
第三位分享嘉賓是中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生鄭賀亮。鄭賀亮在大四開(kāi)學(xué)時(shí)就進(jìn)入微軟亞洲研究院實(shí)習(xí)，期間在同一實(shí)驗(yàn)室?guī)熜謳熃銈兊墓膭?lì)下，首次投CVPR論文就被選中。他的論文題目是：Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-Grained Image Recognition（精細(xì)化物體識(shí)別中基于遞歸注意力模型的卷積神經(jīng)網(wǎng)絡(luò)）
近年來(lái)，基于弱監(jiān)督的精細(xì)化物體識(shí)別問(wèn)題倍受關(guān)注。現(xiàn)存的主流方法分兩種：對(duì)于有判別力區(qū)域的定位和對(duì)精細(xì)化特征的學(xué)習(xí)。在這篇CVPR文章里，鄭賀亮和其他的作者通過(guò)設(shè)計(jì)一種RA-CNN的網(wǎng)絡(luò)結(jié)構(gòu)，將不同尺度的重要區(qū)域綜合起來(lái)進(jìn)行分類，實(shí)現(xiàn)了定位和精細(xì)化特征學(xué)習(xí)之間的相互促進(jìn)，在精細(xì)化物體分類的任務(wù)上取得非常理想的結(jié)果。
「You are not alone」你并不孤單。在實(shí)驗(yàn)室中每個(gè)人研究的課題都不一樣，但是到大會(huì)上會(huì)有很多workshop，每個(gè)方向都有很多人研究。你可以找到興趣相同的朋友 ，甚至可以深入討論實(shí)驗(yàn)的細(xì)節(jié)，有一種彼此相通的感覺(jué)。
「Paper is not the end」發(fā)表論文并不是終點(diǎn)。到大會(huì)上你會(huì)發(fā)現(xiàn)大牛研究的都是一條線，而不是一個(gè)點(diǎn)。他們發(fā)的論文只是這條線上的某個(gè)點(diǎn)，在研究過(guò)程中他們是遵從自己的一個(gè)思路的。所以我們?cè)谧鰧W(xué)術(shù)研究時(shí)也要慢慢形成自己的方法論，而不僅僅是找到解決問(wèn)題的方法。
「Research changes the world」科研改變世界。到大會(huì)上才能真切感受到自己做的學(xué)術(shù)研究成果真的可以影響世界，改變世界。
第四位嘉賓是中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生邱釗凡。他分享論文題目是：Deep Quantization: Encoding Convolutional Activations with Deep Generative Model （基于深度生成模型的卷積層特征提取整合）
邱釗凡列了一個(gè)提綱，從八個(gè)方面依次介紹了自己目前所在做的研究方向。
深度卷積神經(jīng)網(wǎng)絡(luò)目前在不同的識(shí)別問(wèn)題上體現(xiàn)出優(yōu)異的性能，而如何從神經(jīng)網(wǎng)絡(luò)的卷積層中提取特征并做出整合分析成為了進(jìn)行研究的一個(gè)基本問(wèn)題。他的這篇分享的論文中提出了基于深度生成模型的卷積層特征的提取整合方案，并將最終得到的全局特征應(yīng)用在不同分類問(wèn)題當(dāng)中。實(shí)驗(yàn)結(jié)果表明，在圖片精細(xì)分類和視頻動(dòng)作識(shí)別兩個(gè)問(wèn)題上，該方法均體現(xiàn)出較好的性能。
論文介紹完后他也沒(méi)有忘記和大家分享參會(huì)心得：
AI科技評(píng)論：最后問(wèn)幾個(gè)大家比較關(guān)心的問(wèn)題吧，怎樣才能寫(xiě)出一篇高質(zhì)量的論文？寫(xiě)論文的過(guò)程中有哪些點(diǎn)要側(cè)重，比如算法，思路這些？
鄭賀亮：我當(dāng)時(shí)也是被同實(shí)驗(yàn)室?guī)熜謳熃愕目蒲袩崆樗腥荆M量以一種積極的心態(tài)去做實(shí)驗(yàn)，拿出一種論文必能投中的自信心態(tài)去做實(shí)驗(yàn)。在方法上掌握了問(wèn)題該用什么辦法去解決，然后總結(jié)成一種思路，再賦予它含義，最終寫(xiě)成paper。
論文的引言（introduction）部分比較耗費(fèi)精力，要學(xué)會(huì)講故事不僅要表達(dá)清楚自己的觀點(diǎn)和出發(fā)點(diǎn)，還要想到別人會(huì)有什么疑問(wèn)，以及可能引起別人爭(zhēng)論的地方。爭(zhēng)論的地方是否是該論文的缺點(diǎn)，如果是的話，要采用什么辦法才能解決這個(gè)缺點(diǎn)，這個(gè)過(guò)程是我和小老板考慮的主要內(nèi)容，從中也學(xué)到了很多東西。
AI科技評(píng)論：以Momenta 為例，招人的過(guò)程中比較看重學(xué)生的哪些素質(zhì)？或者有哪些要求？
孫剛：基本的招人原則就是首先要看科研方向和我們需求的方向是否一致。對(duì)于研究方向不是太一致，如果這個(gè)人很聰明或者在面試過(guò)程中表現(xiàn)出的思維方式是我們所欣賞的，也是可以的。另一個(gè)要求就是招的人必須要在某一方向非常強(qiáng)，任何一個(gè)方向都可以。Momenta比較青睞有專長(zhǎng)的同學(xué)。有意愿的同學(xué)可以給我們發(fā)郵件talentoverflow@momenta.ai。
AI科技評(píng)論（現(xiàn)場(chǎng)觀眾）：面試的核心考點(diǎn)是不是算法？如果算法能力不是太好怎么辦？
孫剛：在某方面是不是特別強(qiáng)是一個(gè)方面，另外也不會(huì)因?yàn)槟撤矫娌簧瞄L(zhǎng)就完全否定一個(gè)人，比如候選人的思維非?；钴S，可以根據(jù)一個(gè)問(wèn)題提出創(chuàng)新型方案，但編程能力不是太好，這也是沒(méi)問(wèn)題的。我們會(huì)通過(guò)一個(gè)綜合的評(píng)定，會(huì)根據(jù)候選人擅長(zhǎng)的部分量身打造一個(gè)職位。
AI科技評(píng)論：三位都已經(jīng)發(fā)表過(guò)頂會(huì)論文了，那么你們?cè)谧鰧W(xué)術(shù)的過(guò)程中有沒(méi)有遇到過(guò)哪些坑，需要提醒大家去避免的？
邱釗凡：我覺(jué)得最重要的一點(diǎn)還是要理解你在干什么。剛開(kāi)始做學(xué)術(shù)你可能會(huì)拿到一個(gè)項(xiàng)目課題（topic）或者看到別人做一個(gè)課題，你也想去做。但是你在做這個(gè)的過(guò)程中，可能比較重要的一點(diǎn)是在于你是否真的知道這個(gè)課題的意義，你做的這個(gè)點(diǎn)的提高為你帶來(lái)什么，或者為你的課題帶來(lái)什么。另外需要有一些前瞻性的視野，在你看別人工作時(shí)除了看到他們?cè)谧鍪裁?，為什么這樣做之外，還要知道他的這個(gè)思路還能用來(lái)做些什么，他的課題方向還可以做些什么。就算不是自己相關(guān)的工作，也可以去思考。
孫剛：我比較認(rèn)同釗凡所說(shuō)的。我本科到博士再到工作，最大的進(jìn)步并不是說(shuō)自己在科研，技術(shù)上的進(jìn)步，主要還是自己思考問(wèn)題的方式、邏輯的進(jìn)步。做學(xué)問(wèn)的時(shí)候，自己要仔細(xì)考慮一下，我做這個(gè)究竟是為了什么，自己喜歡做什么，也要根據(jù)實(shí)際情況，來(lái)看一下做的這個(gè)事情是否能達(dá)成。在做具體事情之前有一個(gè)完整的規(guī)劃，包括對(duì)自己未來(lái)職業(yè)上的規(guī)劃。這些方面，我覺(jué)得是比做學(xué)問(wèn)更值得大家思考的問(wèn)題。
鄭賀亮：我覺(jué)得他們說(shuō)的特別對(duì)。選題特別重要，如果你選的不是現(xiàn)實(shí)中需要解決的問(wèn)題，那研究再深也沒(méi)有什么價(jià)值。所以說(shuō)選題還是要慎重考慮，一方面是要結(jié)合自己的興趣，另一方面研究的這個(gè)確實(shí)是社會(huì)需要解決的問(wèn)題。另外研究過(guò)程中，不要只為了發(fā)現(xiàn)一個(gè)方法來(lái)研究，而是要總結(jié)出一套方法論來(lái)，也就是說(shuō)你的背后要有一個(gè)思想一直在指導(dǎo)你，你發(fā)的每篇論文都是慢慢地走向你最終的目的。在看別人發(fā)的論文也要看到他們背后的那個(gè)思想是什么。
AI科技評(píng)論（現(xiàn)場(chǎng)觀眾）：如果自己實(shí)驗(yàn)室的方向和深度學(xué)習(xí)不是太相關(guān)，差不多就是一種自學(xué)的狀態(tài)，怎么能在這個(gè)領(lǐng)域更深入一些，或者如何設(shè)計(jì)一個(gè)自學(xué)的路線？
孫剛：我其實(shí)也有過(guò)一段這樣的經(jīng)歷，當(dāng)時(shí)我做topic和老板所研究的也不太一致，這種情況下，自己的成長(zhǎng)確實(shí)比較慢。在這種情況下，你可能要和老板商量下，能不能通過(guò)實(shí)習(xí)的形式來(lái)和更多的人交流，來(lái)改變這一情況。另外，就是要看你自己了，老板有時(shí)要求你必須做的，你也不想做，確實(shí)比較痛苦。我們公司有幾個(gè)這樣極端的例子，有個(gè)同事干脆就輟學(xué)了，他當(dāng)時(shí)學(xué)的是物理，他覺(jué)得物理要作出一些成果，需要比較長(zhǎng)時(shí)間的的假設(shè)檢驗(yàn)過(guò)程。每個(gè)人時(shí)間都有限，肯定要挑選一些假設(shè)檢驗(yàn)周期比較短的事來(lái)做。當(dāng)時(shí)他就放棄了物理專業(yè)，然后從計(jì)算機(jī)零基礎(chǔ)開(kāi)始學(xué)習(xí)人工智能，現(xiàn)在已經(jīng)是這個(gè)領(lǐng)域非常牛的人了。
AI科技評(píng)論為大家整理了本次活動(dòng)現(xiàn)場(chǎng)PPT下載地址：鏈接：http://pan.baidu.com/s/1kUIzBWr (密碼：xbvt)。另外，8月26日下午2點(diǎn)，雷鋒網(wǎng)“GAIR大講堂CVPR哈工大深圳專場(chǎng)”活動(dòng)將在哈工大深研院A棟104教室舉辦，名額有限，歡迎報(bào)名參加！雷鋒網(wǎng)報(bào)名地址：http://www.ozgbdpf.cn/activity/view/id/3
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
