0
| 本文作者： 楊文 | 2017-08-25 11:19 |
8月19日下午，由雷鋒網(wǎng)主辦，清華數(shù)據(jù)派THU承辦的第二期“GAIR大講堂CVPR清華專場”活動圓滿結(jié)束，本次活動共吸引來自北京各大高校100多名同學(xué)前來傾聽。AI科技評論作為獨(dú)家合作媒體也前往活動現(xiàn)場進(jìn)行了報道。
當(dāng)日雖酷暑難耐，現(xiàn)場還是座無虛席。部分同學(xué)因天氣太熱拿起了人手一份的活動宣傳頁扇風(fēng)降溫，也沒選擇離開活動場地，這足以看出他們對本次活動的關(guān)注熱情。
四位分享嘉賓分別是：
清華大學(xué)自動化系三年級博士生 段岳圻
Momenta 研發(fā)總監(jiān)&聯(lián)合創(chuàng)始人 孫剛
中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生 鄭賀亮
中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生 邱釗凡
段岳圻分享的論文題目是：Learning Deep Binary Descriptor with Multi-Quantization （多量化深度二值特征學(xué)習(xí)） 他分別從四個方面介紹了他的論文研究：背景介紹，文章方法，實(shí)驗(yàn)結(jié)果，參會心得。
圖中「存儲庫圖片特征」和「特征匹配」為什么標(biāo)注橘紅色了呢？段岳圻介紹道，像訓(xùn)練模型、提取庫圖片特征都可以線下花幾個月搞定，而存儲庫里的圖片特征要一直存儲在云端里，不然輸入的圖片沒有辦法進(jìn)行特征對比。在線部分中的特征匹配也是需要很多輪的特征對比和匹配，所以做了重點(diǎn)標(biāo)注。該論文用的是非監(jiān)督深度學(xué)習(xí)方法，非監(jiān)督或弱監(jiān)督學(xué)習(xí)是未來發(fā)展趨勢，大名鼎鼎的楊立昆(YannLeCun)教授曾說過，非監(jiān)督學(xué)習(xí)是讓機(jī)器獲得常識的一個嘗試。
文章方法介紹：深度二值特征學(xué)習(xí)因其存儲和匹配的高效性，近年來在學(xué)術(shù)界持續(xù)受到關(guān)注?，F(xiàn)有的深度二值特征學(xué)習(xí)方法采用符號函數(shù)對實(shí)值特征進(jìn)行二值化，未能考慮數(shù)據(jù)分布，從而導(dǎo)致了較大的量化損失。這篇論文將二值化過程看作非監(jiān)督多量化問題，提出了基于K-自編碼網(wǎng)絡(luò)的深度多量化算法，并將其應(yīng)用于深度二值特征學(xué)習(xí)，提出了多量化深度二值特征學(xué)習(xí)，降低了二值化造成的量化損失。實(shí)驗(yàn)結(jié)果證明了本文方法的有效性。
最后段岳圻同學(xué)也分享了CVPR 2017的參會心得。
第二位分享嘉賓是Momenta 研發(fā)總監(jiān)、聯(lián)合創(chuàng)始人孫剛博士，分享題目是：ImageNet冠軍模型SE-Net詳解。
孫剛博士不僅是Momenta 研發(fā)總監(jiān)、聯(lián)合創(chuàng)始人，同時還是高性能并行計算系統(tǒng)專家、大規(guī)模圖像識別專家、ImageNet 2017 圖像分類冠軍、ImageNet 2016 場景分類亞軍。這篇論文作者提出了一種新穎的神經(jīng)網(wǎng)絡(luò)模塊稱為Squeeze & Excitation（簡稱SE），以此大幅提升模型的精度。通過Squeeze 和Excitation操作，SE模塊自動對特征重新分配權(quán)重，增強(qiáng)對識別有用的特征，而抑制無效或收益甚微的特征。在引入極少計算和參數(shù)量的情況下，將現(xiàn)有絕大多數(shù)網(wǎng)絡(luò)結(jié)構(gòu)的性能大幅提升。
第三位分享嘉賓是中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生鄭賀亮。鄭賀亮在大四開學(xué)時就進(jìn)入微軟亞洲研究院實(shí)習(xí)，期間在同一實(shí)驗(yàn)室?guī)熜謳熃銈兊墓膭钕?，首次投CVPR論文就被選中。他的論文題目是：Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-Grained Image Recognition（精細(xì)化物體識別中基于遞歸注意力模型的卷積神經(jīng)網(wǎng)絡(luò)）
近年來，基于弱監(jiān)督的精細(xì)化物體識別問題倍受關(guān)注?，F(xiàn)存的主流方法分兩種：對于有判別力區(qū)域的定位和對精細(xì)化特征的學(xué)習(xí)。在這篇CVPR文章里，鄭賀亮和其他的作者通過設(shè)計一種RA-CNN的網(wǎng)絡(luò)結(jié)構(gòu)，將不同尺度的重要區(qū)域綜合起來進(jìn)行分類，實(shí)現(xiàn)了定位和精細(xì)化特征學(xué)習(xí)之間的相互促進(jìn)，在精細(xì)化物體分類的任務(wù)上取得非常理想的結(jié)果。
「You are not alone」你并不孤單。在實(shí)驗(yàn)室中每個人研究的課題都不一樣，但是到大會上會有很多workshop，每個方向都有很多人研究。你可以找到興趣相同的朋友 ，甚至可以深入討論實(shí)驗(yàn)的細(xì)節(jié)，有一種彼此相通的感覺。
「Paper is not the end」發(fā)表論文并不是終點(diǎn)。到大會上你會發(fā)現(xiàn)大牛研究的都是一條線，而不是一個點(diǎn)。他們發(fā)的論文只是這條線上的某個點(diǎn)，在研究過程中他們是遵從自己的一個思路的。所以我們在做學(xué)術(shù)研究時也要慢慢形成自己的方法論，而不僅僅是找到解決問題的方法。
「Research changes the world」科研改變世界。到大會上才能真切感受到自己做的學(xué)術(shù)研究成果真的可以影響世界，改變世界。
第四位嘉賓是中科大&微軟亞洲研究院聯(lián)合培養(yǎng)博士生邱釗凡。他分享論文題目是：Deep Quantization: Encoding Convolutional Activations with Deep Generative Model （基于深度生成模型的卷積層特征提取整合）
邱釗凡列了一個提綱，從八個方面依次介紹了自己目前所在做的研究方向。
深度卷積神經(jīng)網(wǎng)絡(luò)目前在不同的識別問題上體現(xiàn)出優(yōu)異的性能，而如何從神經(jīng)網(wǎng)絡(luò)的卷積層中提取特征并做出整合分析成為了進(jìn)行研究的一個基本問題。他的這篇分享的論文中提出了基于深度生成模型的卷積層特征的提取整合方案，并將最終得到的全局特征應(yīng)用在不同分類問題當(dāng)中。實(shí)驗(yàn)結(jié)果表明，在圖片精細(xì)分類和視頻動作識別兩個問題上，該方法均體現(xiàn)出較好的性能。
論文介紹完后他也沒有忘記和大家分享參會心得：
AI科技評論：最后問幾個大家比較關(guān)心的問題吧，怎樣才能寫出一篇高質(zhì)量的論文？寫論文的過程中有哪些點(diǎn)要側(cè)重，比如算法，思路這些？
鄭賀亮：我當(dāng)時也是被同實(shí)驗(yàn)室?guī)熜謳熃愕目蒲袩崆樗腥?，盡量以一種積極的心態(tài)去做實(shí)驗(yàn)，拿出一種論文必能投中的自信心態(tài)去做實(shí)驗(yàn)。在方法上掌握了問題該用什么辦法去解決，然后總結(jié)成一種思路，再賦予它含義，最終寫成paper。
論文的引言（introduction）部分比較耗費(fèi)精力，要學(xué)會講故事不僅要表達(dá)清楚自己的觀點(diǎn)和出發(fā)點(diǎn)，還要想到別人會有什么疑問，以及可能引起別人爭論的地方。爭論的地方是否是該論文的缺點(diǎn)，如果是的話，要采用什么辦法才能解決這個缺點(diǎn)，這個過程是我和小老板考慮的主要內(nèi)容，從中也學(xué)到了很多東西。
AI科技評論：以Momenta 為例，招人的過程中比較看重學(xué)生的哪些素質(zhì)？或者有哪些要求？
孫剛：基本的招人原則就是首先要看科研方向和我們需求的方向是否一致。對于研究方向不是太一致，如果這個人很聰明或者在面試過程中表現(xiàn)出的思維方式是我們所欣賞的，也是可以的。另一個要求就是招的人必須要在某一方向非常強(qiáng)，任何一個方向都可以。Momenta比較青睞有專長的同學(xué)。有意愿的同學(xué)可以給我們發(fā)郵件talentoverflow@momenta.ai。
AI科技評論（現(xiàn)場觀眾）：面試的核心考點(diǎn)是不是算法？如果算法能力不是太好怎么辦？
孫剛：在某方面是不是特別強(qiáng)是一個方面，另外也不會因?yàn)槟撤矫娌簧瞄L就完全否定一個人，比如候選人的思維非常活躍，可以根據(jù)一個問題提出創(chuàng)新型方案，但編程能力不是太好，這也是沒問題的。我們會通過一個綜合的評定，會根據(jù)候選人擅長的部分量身打造一個職位。
AI科技評論：三位都已經(jīng)發(fā)表過頂會論文了，那么你們在做學(xué)術(shù)的過程中有沒有遇到過哪些坑，需要提醒大家去避免的？
邱釗凡：我覺得最重要的一點(diǎn)還是要理解你在干什么。剛開始做學(xué)術(shù)你可能會拿到一個項目課題（topic）或者看到別人做一個課題，你也想去做。但是你在做這個的過程中，可能比較重要的一點(diǎn)是在于你是否真的知道這個課題的意義，你做的這個點(diǎn)的提高為你帶來什么，或者為你的課題帶來什么。另外需要有一些前瞻性的視野，在你看別人工作時除了看到他們在做什么，為什么這樣做之外，還要知道他的這個思路還能用來做些什么，他的課題方向還可以做些什么。就算不是自己相關(guān)的工作，也可以去思考。
孫剛：我比較認(rèn)同釗凡所說的。我本科到博士再到工作，最大的進(jìn)步并不是說自己在科研，技術(shù)上的進(jìn)步，主要還是自己思考問題的方式、邏輯的進(jìn)步。做學(xué)問的時候，自己要仔細(xì)考慮一下，我做這個究竟是為了什么，自己喜歡做什么，也要根據(jù)實(shí)際情況，來看一下做的這個事情是否能達(dá)成。在做具體事情之前有一個完整的規(guī)劃，包括對自己未來職業(yè)上的規(guī)劃。這些方面，我覺得是比做學(xué)問更值得大家思考的問題。
鄭賀亮：我覺得他們說的特別對。選題特別重要，如果你選的不是現(xiàn)實(shí)中需要解決的問題，那研究再深也沒有什么價值。所以說選題還是要慎重考慮，一方面是要結(jié)合自己的興趣，另一方面研究的這個確實(shí)是社會需要解決的問題。另外研究過程中，不要只為了發(fā)現(xiàn)一個方法來研究，而是要總結(jié)出一套方法論來，也就是說你的背后要有一個思想一直在指導(dǎo)你，你發(fā)的每篇論文都是慢慢地走向你最終的目的。在看別人發(fā)的論文也要看到他們背后的那個思想是什么。
AI科技評論（現(xiàn)場觀眾）：如果自己實(shí)驗(yàn)室的方向和深度學(xué)習(xí)不是太相關(guān)，差不多就是一種自學(xué)的狀態(tài)，怎么能在這個領(lǐng)域更深入一些，或者如何設(shè)計一個自學(xué)的路線？
孫剛：我其實(shí)也有過一段這樣的經(jīng)歷，當(dāng)時我做topic和老板所研究的也不太一致，這種情況下，自己的成長確實(shí)比較慢。在這種情況下，你可能要和老板商量下，能不能通過實(shí)習(xí)的形式來和更多的人交流，來改變這一情況。另外，就是要看你自己了，老板有時要求你必須做的，你也不想做，確實(shí)比較痛苦。我們公司有幾個這樣極端的例子，有個同事干脆就輟學(xué)了，他當(dāng)時學(xué)的是物理，他覺得物理要作出一些成果，需要比較長時間的的假設(shè)檢驗(yàn)過程。每個人時間都有限，肯定要挑選一些假設(shè)檢驗(yàn)周期比較短的事來做。當(dāng)時他就放棄了物理專業(yè)，然后從計算機(jī)零基礎(chǔ)開始學(xué)習(xí)人工智能，現(xiàn)在已經(jīng)是這個領(lǐng)域非常牛的人了。
AI科技評論為大家整理了本次活動現(xiàn)場PPT下載地址：鏈接：http://pan.baidu.com/s/1kUIzBWr (密碼：xbvt)。另外，8月26日下午2點(diǎn)，雷鋒網(wǎng)“GAIR大講堂CVPR哈工大深圳專場”活動將在哈工大深研院A棟104教室舉辦，名額有限，歡迎報名參加！雷鋒網(wǎng)報名地址：http://www.ozgbdpf.cn/activity/view/id/3
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
