0
本文作者: 奕欣 | 2017-08-05 09:45 | 專題:ACL 2017 |
演講結(jié)束,掌聲響起。
趙衡急急忙忙收拾東西離開座位,希望在人潮散場前趕緊離開 ACL 2017 的主會場,好找個地方看看接下來的議程——但也已經(jīng)晚了。盡管大門試圖嚴(yán)密地隔開場內(nèi)場外,但趙衡推開門時,會場外熙熙攘攘、甚至顯得有些吵鬧的對話聲涌進(jìn)大廳,引來不少觀眾的回頭側(cè)目。
趙衡背著包,磕磕碰碰地跟著人海移動到下一個會場時,他心里只暗暗后悔沒有再早一點離場。
「我猜主辦方也沒想到有這么多人,今年的場子定得太小了,」趙衡半是無奈半是欣慰地感慨道。作為國內(nèi) Top 5 高校的博士生,他感慨自己遇上了 ACL 的「春天」,也遇上了深度學(xué)習(xí)的「黃金時代」。
據(jù)雷鋒網(wǎng) AI 科技評論不完全統(tǒng)計,第 55 屆 ACL 主會場的規(guī)模約為 1500 人,每個分會場也安排了超過 300 人的座位,預(yù)計本屆 ACL與會人數(shù)超過 1000 人。
十年前,ACL 還不是這般景象。北京大學(xué)計算機(jī)科學(xué)研究所的萬小軍教授回憶道,他第一次參加 ACL 的時候還是 2007 年,當(dāng)年他剛留校任教不久,「(會議)在捷克布拉格舉行的,當(dāng)時是與 EMNLP-CoNLL 2007 和 IWPT 2007 兩個學(xué)術(shù)會議同時召開?!官Y料顯示,當(dāng)時三個會吸引了「創(chuàng)記錄」的 1095 人前來參會,且 ACL 2007 接收論文投稿 588 篇,收錄 131 篇。
而在十年后,ACL 2017 僅收錄論文數(shù)就達(dá)到 299 篇,總投遞論文數(shù)達(dá)到 1318 篇。不得不說,這與深度學(xué)習(xí)的快速發(fā)展不無關(guān)聯(lián)。
在 2011 年版本的中國計算機(jī)學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄中,ACL 還是 CCF 推薦國際學(xué)術(shù)會議(人工智能與模式識別)B 類;而在 2015 年,中國計算機(jī)學(xué)會(CCF)在第四版更新中將其「升級」為人工智能領(lǐng)域的 A 類會議,與 AAAI、CVPR 等并駕齊驅(qū)。本次修訂升級 A 類的會議數(shù)量猛增,包括了NIPS、ACL等原本的 B 類會議,為此還引發(fā)了一番爭論。
雖然學(xué)界對于 CCF 的推薦標(biāo)準(zhǔn)依然有很多分歧和討論,但不可否認(rèn)的是,深度學(xué)習(xí)的發(fā)展,正在影響甚至主導(dǎo)著學(xué)界的研究和產(chǎn)業(yè)的動向。至少 CCF 自上而下的方針指導(dǎo),便可一窺學(xué)會對人工智能甚至是深度學(xué)習(xí)的高度關(guān)注與重視。
杰出論文開場前十分鐘,會場已經(jīng)滿滿當(dāng)當(dāng)
從 ACL 2017 的議程來看,深度學(xué)習(xí)的趨勢愈發(fā)明顯:在 ACL 2017 上,僅僅第一天的六個 tutorial 就有四個是和深度學(xué)習(xí)相關(guān)的,大多都是分析其在各個計算語言學(xué)領(lǐng)域上的運(yùn)用。
國內(nèi)某知名企業(yè)的首席科學(xué)家張凱是前兩年 ACL 的忠實參會者。今年也來到現(xiàn)場的他告訴雷鋒網(wǎng) AI 科技評論,如果說 2015 年研究者們還處于深度學(xué)習(xí)的初步研究階段,那么 2016 年的 ACL 便是深度學(xué)習(xí)在 NLP 領(lǐng)域全面開花的一屆會議。他表示,ACL 2017 整體延續(xù)了上一年的風(fēng)格,幾乎所有論文都采用了深度學(xué)習(xí)的方法構(gòu)建模型并提升效果。此外,研究所使用的數(shù)據(jù)集基本上都沒有什么大的更新,并沒有給他很大驚喜,也就是說,研究者們是采用了新的方法在測試原有的內(nèi)容,重在效果和性能上更上一層樓,并沒有更多的理論創(chuàng)新。
組委會自然也意識到了深度學(xué)習(xí)所帶來的巨大影響。在去年 ACL 2016 上,最佳長論文頒給了一篇探討符號語義性的文章——加州大學(xué)伯克利分校 E. Dario Gutierrez 的《Finding Non-Arbitrary Form-Meaning Systematicity Using String-Metric Learning for Kernel Regression》。這個決定在深度學(xué)習(xí)開始廣泛應(yīng)用的去年來看,隱約透露出組委會鼓勵多做創(chuàng)新性論文,避免在深度學(xué)習(xí)上越鉆越深的想法。
而在今年沖擊 ACL 最佳論文的杰出論文(outstanding paper)宣講現(xiàn)場上,大多數(shù)論文并沒能跳出深度學(xué)習(xí)的「大坑」,「套路感」?jié)M滿:我們怎么處理數(shù)據(jù)、我們怎么訓(xùn)練、我們的方法比起之前提高了多少百分點......看起來不免讓人覺得有些審美疲勞。
比起其他杰出論文來說,今年獲獎的最佳長論文——約翰霍普金斯大學(xué)的 Ryan Cotterell 和 Jason Eisner 的這篇最佳長論文《Probabilistic Typology: Deep Generative Models of Vowel Inventories》雖然屬于深度學(xué)習(xí)方法的范疇,但更多提供了一種解決問題的新思路,因而在一眾曬數(shù)據(jù)的論文中顯得特別突出:這篇文章通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法來對元音空間構(gòu)建一個可訓(xùn)練的生成概率型分布方法,從而研究語言類型學(xué)中的元音的分散性和聚焦性問題,而 Presentation 最后的一句“Use NLP tools to do science,not just engineering!”則帶出了一個問題:深度學(xué)習(xí)應(yīng)該如何與傳統(tǒng) NLP 研究結(jié)合?
清華大學(xué)的朱小燕老師認(rèn)為,NLP 研究層面上的突破并不只是靠深度學(xué)習(xí)的推動,「深度學(xué)習(xí)的火熱很大一部分是 CV 領(lǐng)域帶起來的,但 NLP 的情況并不一樣,在深度學(xué)習(xí)流行起來之前已經(jīng)有了很多不錯的應(yīng)用解決方案。此外,工業(yè)界的一些應(yīng)用,如特定情境下的服務(wù)機(jī)器人,并不一定需要用深度學(xué)習(xí)方案?!?/p>
而另一位工業(yè)界技術(shù)人士也持類似的看法,她認(rèn)為近兩年深度學(xué)習(xí)的全面應(yīng)用,從學(xué)術(shù)角度看屬于在應(yīng)用工具層面上的更新?lián)Q代,其流行只是暫時性的現(xiàn)象,未來可能會被更好的方法取代。
或許對追求理論創(chuàng)新和突破的學(xué)術(shù)界而言,深度學(xué)習(xí)的「泛濫」并不是一件值得為之激動的事情,但對于工業(yè)界而言,卻是機(jī)遇所在。
今年,有 38 家企業(yè)/機(jī)構(gòu)成為了 ACL 2017 的贊助商,有不少來自國內(nèi)的新面孔,包括騰訊、阿里巴巴、今日頭條、CVTE等公司。在現(xiàn)場,還有包括 BAT 在內(nèi)的 18 家廠商鋪設(shè)了展位,這也給會場的熱鬧非凡「助攻」了一把。
但在去年的 ACL 上,所有贊助商加起來也不過 16 家。
ACL 2016 贊助商一覽
雷鋒網(wǎng) AI 科技評論走訪了現(xiàn)場的多家參展企業(yè),發(fā)現(xiàn)包括谷歌、facebook、百度、騰訊等公司都有論文被今年的 ACL 錄用。而縱覽工業(yè)界在展臺所宣傳的內(nèi)容,雷鋒網(wǎng) AI 科技評論發(fā)現(xiàn)對于 NLP 的應(yīng)用需求不外乎對話 Q&A、推薦系統(tǒng)、機(jī)器翻譯等領(lǐng)域。
三星電子的研究員 Je Hun Jeon 表示,目前公司的研究成果主要采用的是機(jī)器學(xué)習(xí),目前已經(jīng)應(yīng)用于移動設(shè)備、智能家居產(chǎn)品及 IOT 產(chǎn)品。而日本產(chǎn)業(yè)技術(shù)綜合研究所的研究員 Takushi 則表示,研究所主要關(guān)注的領(lǐng)域有三個,一個是在數(shù)據(jù)缺乏的領(lǐng)域,采用機(jī)器學(xué)習(xí)和模擬機(jī)制解決問題;另一個是采用強(qiáng)化學(xué)習(xí)解決化工問題,此外也關(guān)注 AI 控制系統(tǒng)的構(gòu)建。
張凱告訴雷鋒網(wǎng) AI 科技評論,他在 ACL 主要關(guān)注的是深度學(xué)習(xí)在兩個領(lǐng)域的發(fā)展情況,一個是根據(jù)語義理解文本情緒;另一個是生成更加智能的文本內(nèi)容。他也相信,深度學(xué)習(xí)將成為未來一段時間的重要研究工具,并給產(chǎn)業(yè)界帶來更多的驚喜。
一位不愿透露所在機(jī)構(gòu)的 NLP 研究員 Allen 告訴雷鋒網(wǎng) AI 科技評論,深度學(xué)習(xí)的不可解釋性,讓很多研究處于「知其然不知其所以然」的狀態(tài),主要工作主要集中在了調(diào)試出好的效果,而非對背后原理的深究。但他也指出,這給工業(yè)界提供了和學(xué)術(shù)界站在同一起跑線的機(jī)會。「如果從句法的角度去了解,可能需要涉及大量的專業(yè)知識,但采用深度學(xué)習(xí)的方法之后,我們可以直接用大量數(shù)據(jù)喂(模型),也能成功得到結(jié)果。工業(yè)界是以產(chǎn)品化為導(dǎo)向,因此更在乎的是結(jié)果和產(chǎn)出,而非中間的研究過程。」
Allen 也認(rèn)為,目前很多高校的研究能夠在既有的數(shù)據(jù)集上調(diào)試出不錯的效果,但同樣的模型放在工業(yè)界上則不具備應(yīng)用的條件?!阁w量太小,高校在用的那些數(shù)據(jù)集對于工業(yè)界來說并不合適,」而深度學(xué)習(xí)所需要的大量數(shù)據(jù),在工業(yè)界則能夠輕松獲得,這也是為何現(xiàn)在工業(yè)界在某些特定研究領(lǐng)域甚至能夠先行于學(xué)術(shù)界的原因。
其中,有些企業(yè)會以在學(xué)術(shù)會議發(fā)表論文的數(shù)目作為另一種招聘的宣傳手段,以體現(xiàn)他們的研究實力;不過也有某些廠商持有另一種觀點:對于工業(yè)界而言,是否在頂級會議上發(fā)表論文已經(jīng)不是研究者的第一需求,甚至不會是他們的首要 KPI,將產(chǎn)品做好才是正道,自然發(fā)論文的動機(jī)也弱了很多。
但所謂「術(shù)業(yè)有專攻」,工業(yè)界與學(xué)術(shù)界所關(guān)注的方向并不相同。對于工業(yè)界而言,深度學(xué)習(xí)誠然是實現(xiàn)產(chǎn)業(yè)化的巨大機(jī)會所在,可以只關(guān)注熱門技術(shù)和快速產(chǎn)出,增強(qiáng)公司的影響力;但學(xué)術(shù)界的研究依然要本著求真探索的原則,不應(yīng)盲目追求熱點,才能在追求真理的過程中帶來創(chuàng)新,帶來真正的變化。
(應(yīng)受訪者要求,文中趙衡與張凱為化名)
雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
本專題其他文章