0
本文作者: 奕欣 | 2017-08-05 09:45 | 專題:ACL 2017 |
演講結(jié)束,掌聲響起。
趙衡急急忙忙收拾東西離開座位,希望在人潮散場(chǎng)前趕緊離開 ACL 2017 的主會(huì)場(chǎng),好找個(gè)地方看看接下來的議程——但也已經(jīng)晚了。盡管大門試圖嚴(yán)密地隔開場(chǎng)內(nèi)場(chǎng)外,但趙衡推開門時(shí),會(huì)場(chǎng)外熙熙攘攘、甚至顯得有些吵鬧的對(duì)話聲涌進(jìn)大廳,引來不少觀眾的回頭側(cè)目。
趙衡背著包,磕磕碰碰地跟著人海移動(dòng)到下一個(gè)會(huì)場(chǎng)時(shí),他心里只暗暗后悔沒有再早一點(diǎn)離場(chǎng)。
「我猜主辦方也沒想到有這么多人,今年的場(chǎng)子定得太小了,」趙衡半是無奈半是欣慰地感慨道。作為國(guó)內(nèi) Top 5 高校的博士生,他感慨自己遇上了 ACL 的「春天」,也遇上了深度學(xué)習(xí)的「黃金時(shí)代」。
據(jù)雷鋒網(wǎng) AI 科技評(píng)論不完全統(tǒng)計(jì),第 55 屆 ACL 主會(huì)場(chǎng)的規(guī)模約為 1500 人,每個(gè)分會(huì)場(chǎng)也安排了超過 300 人的座位,預(yù)計(jì)本屆 ACL與會(huì)人數(shù)超過 1000 人。
十年前,ACL 還不是這般景象。北京大學(xué)計(jì)算機(jī)科學(xué)研究所的萬小軍教授回憶道,他第一次參加 ACL 的時(shí)候還是 2007 年,當(dāng)年他剛留校任教不久,「(會(huì)議)在捷克布拉格舉行的,當(dāng)時(shí)是與 EMNLP-CoNLL 2007 和 IWPT 2007 兩個(gè)學(xué)術(shù)會(huì)議同時(shí)召開。」資料顯示,當(dāng)時(shí)三個(gè)會(huì)吸引了「創(chuàng)記錄」的 1095 人前來參會(huì),且 ACL 2007 接收論文投稿 588 篇,收錄 131 篇。
而在十年后,ACL 2017 僅收錄論文數(shù)就達(dá)到 299 篇,總投遞論文數(shù)達(dá)到 1318 篇。不得不說,這與深度學(xué)習(xí)的快速發(fā)展不無關(guān)聯(lián)。
在 2011 年版本的中國(guó)計(jì)算機(jī)學(xué)會(huì)推薦國(guó)際學(xué)術(shù)會(huì)議和期刊目錄中,ACL 還是 CCF 推薦國(guó)際學(xué)術(shù)會(huì)議(人工智能與模式識(shí)別)B 類;而在 2015 年,中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)在第四版更新中將其「升級(jí)」為人工智能領(lǐng)域的 A 類會(huì)議,與 AAAI、CVPR 等并駕齊驅(qū)。本次修訂升級(jí) A 類的會(huì)議數(shù)量猛增,包括了NIPS、ACL等原本的 B 類會(huì)議,為此還引發(fā)了一番爭(zhēng)論。
雖然學(xué)界對(duì)于 CCF 的推薦標(biāo)準(zhǔn)依然有很多分歧和討論,但不可否認(rèn)的是,深度學(xué)習(xí)的發(fā)展,正在影響甚至主導(dǎo)著學(xué)界的研究和產(chǎn)業(yè)的動(dòng)向。至少 CCF 自上而下的方針指導(dǎo),便可一窺學(xué)會(huì)對(duì)人工智能甚至是深度學(xué)習(xí)的高度關(guān)注與重視。
杰出論文開場(chǎng)前十分鐘,會(huì)場(chǎng)已經(jīng)滿滿當(dāng)當(dāng)
從 ACL 2017 的議程來看,深度學(xué)習(xí)的趨勢(shì)愈發(fā)明顯:在 ACL 2017 上,僅僅第一天的六個(gè) tutorial 就有四個(gè)是和深度學(xué)習(xí)相關(guān)的,大多都是分析其在各個(gè)計(jì)算語言學(xué)領(lǐng)域上的運(yùn)用。
國(guó)內(nèi)某知名企業(yè)的首席科學(xué)家張凱是前兩年 ACL 的忠實(shí)參會(huì)者。今年也來到現(xiàn)場(chǎng)的他告訴雷鋒網(wǎng) AI 科技評(píng)論,如果說 2015 年研究者們還處于深度學(xué)習(xí)的初步研究階段,那么 2016 年的 ACL 便是深度學(xué)習(xí)在 NLP 領(lǐng)域全面開花的一屆會(huì)議。他表示,ACL 2017 整體延續(xù)了上一年的風(fēng)格,幾乎所有論文都采用了深度學(xué)習(xí)的方法構(gòu)建模型并提升效果。此外,研究所使用的數(shù)據(jù)集基本上都沒有什么大的更新,并沒有給他很大驚喜,也就是說,研究者們是采用了新的方法在測(cè)試原有的內(nèi)容,重在效果和性能上更上一層樓,并沒有更多的理論創(chuàng)新。
組委會(huì)自然也意識(shí)到了深度學(xué)習(xí)所帶來的巨大影響。在去年 ACL 2016 上,最佳長(zhǎng)論文頒給了一篇探討符號(hào)語義性的文章——加州大學(xué)伯克利分校 E. Dario Gutierrez 的《Finding Non-Arbitrary Form-Meaning Systematicity Using String-Metric Learning for Kernel Regression》。這個(gè)決定在深度學(xué)習(xí)開始廣泛應(yīng)用的去年來看,隱約透露出組委會(huì)鼓勵(lì)多做創(chuàng)新性論文,避免在深度學(xué)習(xí)上越鉆越深的想法。
而在今年沖擊 ACL 最佳論文的杰出論文(outstanding paper)宣講現(xiàn)場(chǎng)上,大多數(shù)論文并沒能跳出深度學(xué)習(xí)的「大坑」,「套路感」?jié)M滿:我們?cè)趺刺幚頂?shù)據(jù)、我們?cè)趺从?xùn)練、我們的方法比起之前提高了多少百分點(diǎn)......看起來不免讓人覺得有些審美疲勞。
比起其他杰出論文來說,今年獲獎(jiǎng)的最佳長(zhǎng)論文——約翰霍普金斯大學(xué)的 Ryan Cotterell 和 Jason Eisner 的這篇最佳長(zhǎng)論文《Probabilistic Typology: Deep Generative Models of Vowel Inventories》雖然屬于深度學(xué)習(xí)方法的范疇,但更多提供了一種解決問題的新思路,因而在一眾曬數(shù)據(jù)的論文中顯得特別突出:這篇文章通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法來對(duì)元音空間構(gòu)建一個(gè)可訓(xùn)練的生成概率型分布方法,從而研究語言類型學(xué)中的元音的分散性和聚焦性問題,而 Presentation 最后的一句“Use NLP tools to do science,not just engineering!”則帶出了一個(gè)問題:深度學(xué)習(xí)應(yīng)該如何與傳統(tǒng) NLP 研究結(jié)合?
清華大學(xué)的朱小燕老師認(rèn)為,NLP 研究層面上的突破并不只是靠深度學(xué)習(xí)的推動(dòng),「深度學(xué)習(xí)的火熱很大一部分是 CV 領(lǐng)域帶起來的,但 NLP 的情況并不一樣,在深度學(xué)習(xí)流行起來之前已經(jīng)有了很多不錯(cuò)的應(yīng)用解決方案。此外,工業(yè)界的一些應(yīng)用,如特定情境下的服務(wù)機(jī)器人,并不一定需要用深度學(xué)習(xí)方案。」
而另一位工業(yè)界技術(shù)人士也持類似的看法,她認(rèn)為近兩年深度學(xué)習(xí)的全面應(yīng)用,從學(xué)術(shù)角度看屬于在應(yīng)用工具層面上的更新?lián)Q代,其流行只是暫時(shí)性的現(xiàn)象,未來可能會(huì)被更好的方法取代。
或許對(duì)追求理論創(chuàng)新和突破的學(xué)術(shù)界而言,深度學(xué)習(xí)的「泛濫」并不是一件值得為之激動(dòng)的事情,但對(duì)于工業(yè)界而言,卻是機(jī)遇所在。
今年,有 38 家企業(yè)/機(jī)構(gòu)成為了 ACL 2017 的贊助商,有不少來自國(guó)內(nèi)的新面孔,包括騰訊、阿里巴巴、今日頭條、CVTE等公司。在現(xiàn)場(chǎng),還有包括 BAT 在內(nèi)的 18 家廠商鋪設(shè)了展位,這也給會(huì)場(chǎng)的熱鬧非凡「助攻」了一把。
但在去年的 ACL 上,所有贊助商加起來也不過 16 家。
ACL 2016 贊助商一覽
雷鋒網(wǎng) AI 科技評(píng)論走訪了現(xiàn)場(chǎng)的多家參展企業(yè),發(fā)現(xiàn)包括谷歌、facebook、百度、騰訊等公司都有論文被今年的 ACL 錄用。而縱覽工業(yè)界在展臺(tái)所宣傳的內(nèi)容,雷鋒網(wǎng) AI 科技評(píng)論發(fā)現(xiàn)對(duì)于 NLP 的應(yīng)用需求不外乎對(duì)話 Q&A、推薦系統(tǒng)、機(jī)器翻譯等領(lǐng)域。
三星電子的研究員 Je Hun Jeon 表示,目前公司的研究成果主要采用的是機(jī)器學(xué)習(xí),目前已經(jīng)應(yīng)用于移動(dòng)設(shè)備、智能家居產(chǎn)品及 IOT 產(chǎn)品。而日本產(chǎn)業(yè)技術(shù)綜合研究所的研究員 Takushi 則表示,研究所主要關(guān)注的領(lǐng)域有三個(gè),一個(gè)是在數(shù)據(jù)缺乏的領(lǐng)域,采用機(jī)器學(xué)習(xí)和模擬機(jī)制解決問題;另一個(gè)是采用強(qiáng)化學(xué)習(xí)解決化工問題,此外也關(guān)注 AI 控制系統(tǒng)的構(gòu)建。
張凱告訴雷鋒網(wǎng) AI 科技評(píng)論,他在 ACL 主要關(guān)注的是深度學(xué)習(xí)在兩個(gè)領(lǐng)域的發(fā)展情況,一個(gè)是根據(jù)語義理解文本情緒;另一個(gè)是生成更加智能的文本內(nèi)容。他也相信,深度學(xué)習(xí)將成為未來一段時(shí)間的重要研究工具,并給產(chǎn)業(yè)界帶來更多的驚喜。
一位不愿透露所在機(jī)構(gòu)的 NLP 研究員 Allen 告訴雷鋒網(wǎng) AI 科技評(píng)論,深度學(xué)習(xí)的不可解釋性,讓很多研究處于「知其然不知其所以然」的狀態(tài),主要工作主要集中在了調(diào)試出好的效果,而非對(duì)背后原理的深究。但他也指出,這給工業(yè)界提供了和學(xué)術(shù)界站在同一起跑線的機(jī)會(huì)?!溉绻麖木浞ǖ慕嵌热チ私?,可能需要涉及大量的專業(yè)知識(shí),但采用深度學(xué)習(xí)的方法之后,我們可以直接用大量數(shù)據(jù)喂(模型),也能成功得到結(jié)果。工業(yè)界是以產(chǎn)品化為導(dǎo)向,因此更在乎的是結(jié)果和產(chǎn)出,而非中間的研究過程。」
Allen 也認(rèn)為,目前很多高校的研究能夠在既有的數(shù)據(jù)集上調(diào)試出不錯(cuò)的效果,但同樣的模型放在工業(yè)界上則不具備應(yīng)用的條件?!阁w量太小,高校在用的那些數(shù)據(jù)集對(duì)于工業(yè)界來說并不合適,」而深度學(xué)習(xí)所需要的大量數(shù)據(jù),在工業(yè)界則能夠輕松獲得,這也是為何現(xiàn)在工業(yè)界在某些特定研究領(lǐng)域甚至能夠先行于學(xué)術(shù)界的原因。
其中,有些企業(yè)會(huì)以在學(xué)術(shù)會(huì)議發(fā)表論文的數(shù)目作為另一種招聘的宣傳手段,以體現(xiàn)他們的研究實(shí)力;不過也有某些廠商持有另一種觀點(diǎn):對(duì)于工業(yè)界而言,是否在頂級(jí)會(huì)議上發(fā)表論文已經(jīng)不是研究者的第一需求,甚至不會(huì)是他們的首要 KPI,將產(chǎn)品做好才是正道,自然發(fā)論文的動(dòng)機(jī)也弱了很多。
但所謂「術(shù)業(yè)有專攻」,工業(yè)界與學(xué)術(shù)界所關(guān)注的方向并不相同。對(duì)于工業(yè)界而言,深度學(xué)習(xí)誠(chéng)然是實(shí)現(xiàn)產(chǎn)業(yè)化的巨大機(jī)會(huì)所在,可以只關(guān)注熱門技術(shù)和快速產(chǎn)出,增強(qiáng)公司的影響力;但學(xué)術(shù)界的研究依然要本著求真探索的原則,不應(yīng)盲目追求熱點(diǎn),才能在追求真理的過程中帶來創(chuàng)新,帶來真正的變化。
(應(yīng)受訪者要求,文中趙衡與張凱為化名)
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
本專題其他文章