0
| 本文作者： 奕欣 | 2017-05-09 11:05 |
雷鋒網(wǎng)按：本文由雷鋒網(wǎng)轉(zhuǎn)載自微信公眾號(hào)“微軟研究院AI頭條”，原文標(biāo)題為《從短句到長(zhǎng)文，計(jì)算機(jī)如何學(xué)習(xí)閱讀理解？》，雷鋒網(wǎng)經(jīng)公眾號(hào)授權(quán)轉(zhuǎn)載，并做了不改動(dòng)原意的編輯。
（從左至右：崔磊、韋福如、周明、楊南）
在電影《她（HER）》中有這樣一幕：主人公是一位信件撰寫(xiě)人，人工智能操作系統(tǒng)薩曼莎在得到他的允許后閱讀他的郵件資料，總結(jié)出需要保留和刪除的郵件，幫助他修改信件草稿中的錯(cuò)字，并且與他探討她喜愛(ài)的信件片段。與此同時(shí)，薩曼莎通過(guò)閱讀主人公的海量信息來(lái)了解他，也通過(guò)閱讀互聯(lián)網(wǎng)上的海量數(shù)據(jù)來(lái)了解世界。閱讀這項(xiàng)人類(lèi)的基本能力，在眾多科幻作品中也成了人工智能的入門(mén)標(biāo)配。
盡管人工智能的熱點(diǎn)此起彼伏，但毫無(wú)疑問(wèn)的是，自然語(yǔ)言處理始終是實(shí)現(xiàn)智能、自然人機(jī)交互愿景里一塊重要的技術(shù)基石。而機(jī)器閱讀理解則可以被視為是自然語(yǔ)言處理領(lǐng)域皇冠上的明珠，也是目前該領(lǐng)域的研究焦點(diǎn)之一。
做機(jī)器閱讀理解研究的學(xué)者想必對(duì)由斯坦福大學(xué)自然語(yǔ)言計(jì)算組發(fā)起的SQuAD（Stanford Question Answering Dataset）文本理解挑戰(zhàn)賽并不陌生，它也被譽(yù)為“機(jī)器閱讀理解界的ImageNet”。諸多來(lái)自全球?qū)W術(shù)界和產(chǎn)業(yè)界的研究團(tuán)隊(duì)都積極地參與其中，目前微軟亞洲研究院的自然語(yǔ)言計(jì)算研究組持續(xù)穩(wěn)居榜首，與包括艾倫研究院、IBM、Salesforce、Facebook、谷歌以及CMU（卡內(nèi)基·梅隆大學(xué)）、斯坦福大學(xué)等在內(nèi)的全球自然語(yǔ)言處理領(lǐng)域的研究人員，共同推動(dòng)著自然語(yǔ)言理解的進(jìn)步。
2017年5月8日SQuAD排名和結(jié)果截圖，其中微軟亞洲研究院的集成模型（ensemble）和單模型（single model）分列各自排名首位
那么，SQuAD機(jī)器閱讀理解挑戰(zhàn)賽是怎樣進(jìn)行的呢？SQuAD通過(guò)眾包的方式構(gòu)建了一個(gè)大規(guī)模的機(jī)器閱讀理解數(shù)據(jù)集（包含10萬(wàn)個(gè)問(wèn)題），即將一篇幾百（平均100，最多800）詞左右的短文給標(biāo)注者閱讀，隨后讓標(biāo)注人員提出最多5個(gè)基于文章內(nèi)容的問(wèn)題并提供正確答案。SQuAD向參賽者提供訓(xùn)練集用于模型訓(xùn)練，以及一個(gè)規(guī)模較小的數(shù)據(jù)集作為開(kāi)發(fā)集，用于模型的測(cè)試和調(diào)優(yōu)。與此同時(shí)，他們提供了一個(gè)開(kāi)放平臺(tái)供參賽者提交自己的算法，并利用測(cè)試集對(duì)其進(jìn)行評(píng)分，評(píng)分結(jié)果將實(shí)時(shí)地在SQuAD官網(wǎng)上進(jìn)行更新。
得益于SQuAD所提供的龐大數(shù)據(jù)規(guī)模，參與該項(xiàng)挑戰(zhàn)賽的選手不斷地對(duì)成績(jī)進(jìn)行刷新，SQuAD挑戰(zhàn)賽也逐步成為行業(yè)內(nèi)公認(rèn)的機(jī)器閱讀理解標(biāo)準(zhǔn)水平測(cè)試。在今年的ACL大會(huì)（自然語(yǔ)言處理領(lǐng)域最頂尖的會(huì)議之一）的投稿里，有非常多的論文就是關(guān)于這項(xiàng)挑戰(zhàn)賽的研究，其影響力可見(jiàn)一斑。從ACL 2017論文主題的可視分析中可以看到，“reading comprehension（閱讀理解）”是今年ACL錄取論文中最熱門(mén)的關(guān)鍵詞和任務(wù)，廣受自然語(yǔ)言處理領(lǐng)域研究人員的關(guān)注。
“雖然偶爾有一兩天其它團(tuán)隊(duì)超過(guò)了我們的成績(jī)，但我們也有最新的算法能夠很快地進(jìn)行更新，并取得更好的成績(jī)，對(duì)于這一點(diǎn)我們的團(tuán)隊(duì)始終十分自信?！睓C(jī)器閱讀理解研究的主要負(fù)責(zé)人、微軟亞洲研究院自然語(yǔ)言計(jì)算研究組主管研究員韋福如表示。
如今，我們?cè)趫D像識(shí)別、機(jī)器翻譯和語(yǔ)音識(shí)別等研究領(lǐng)域已經(jīng)看到了機(jī)器學(xué)習(xí)帶來(lái)的顯著成果。例如圖像識(shí)別技術(shù)對(duì)癌細(xì)胞病理切片的識(shí)別能力已逐步超過(guò)人類(lèi)，目前機(jī)器圍棋棋手的棋力已經(jīng)幾乎無(wú)人能敵……在人工智能技術(shù)進(jìn)步向人們展現(xiàn)了各種可喜的成果之后，大家將探尋的目光投向更遠(yuǎn)的未來(lái)，下一個(gè)人工智能技術(shù)的增長(zhǎng)點(diǎn)在哪里？
狂熱過(guò)后，當(dāng)我們重新審視人工智能這個(gè)問(wèn)題時(shí)，一個(gè)最基本的問(wèn)題可能尚未解決：計(jì)算機(jī)能夠理解多少我們的語(yǔ)言了？
一些人類(lèi)學(xué)家認(rèn)為，語(yǔ)言是構(gòu)建人類(lèi)文明的基石。在語(yǔ)言之上，我們構(gòu)建了神話(huà)、宗教；構(gòu)建了城邦，帝國(guó)；還構(gòu)建了信任、信仰。計(jì)算機(jī)發(fā)明以來(lái)，層出不窮的編程語(yǔ)言都在教人們學(xué)會(huì)和計(jì)算機(jī)對(duì)話(huà)，而人們理想中的人工智能則是應(yīng)該主動(dòng)學(xué)習(xí)，掌握人類(lèi)語(yǔ)言的奧義。為此微軟提出了CaaP（Conversation as a Platform，對(duì)話(huà)即平臺(tái)）戰(zhàn)略，并將對(duì)話(huà)式人工智能作為微軟在人工智能領(lǐng)域布局的重點(diǎn)。
計(jì)算語(yǔ)言學(xué)協(xié)會(huì)（ACL， Association for Computational Linguistics）候任主席，微軟亞洲研究院副院長(zhǎng)周明博士認(rèn)為：“自然語(yǔ)言處理的基本研究包括分詞、斷句、句法語(yǔ)義分析等等。而機(jī)器閱讀理解就是自然語(yǔ)言計(jì)算領(lǐng)域皇冠上的明珠?！?/p>
一般來(lái)說(shuō)，人們?cè)谧x完一篇文章之后就會(huì)在腦海里形成一定的印象，例如這篇文章講的是什么人，做了什么事情，出現(xiàn)了什么，發(fā)生在哪里等等。人們能夠很輕而易舉地歸納出文章中的重點(diǎn)內(nèi)容。機(jī)器閱讀理解的研究就是賦予計(jì)算機(jī)與人類(lèi)同等的閱讀能力，即讓計(jì)算機(jī)閱讀一篇文章，隨后讓計(jì)算機(jī)解答與文中信息相關(guān)的問(wèn)題。這種對(duì)人類(lèi)而言輕而易舉的能力，對(duì)計(jì)算機(jī)來(lái)說(shuō)卻并非如此。
很長(zhǎng)一段時(shí)間以來(lái)，自然語(yǔ)言處理的研究都是基于句子級(jí)別的閱讀理解。例如給計(jì)算機(jī)一句話(huà)，理解句子中的主謂賓、定狀補(bǔ)，誰(shuí)做了何事等等。但長(zhǎng)文本的理解問(wèn)題一直是研究的一個(gè)難點(diǎn)，因?yàn)檫@涉及到句子之間的連貫、上下文和推理等更高維的研究?jī)?nèi)容。
比如下面這段文本：
The Rhine (Romansh: Rein, German: Rhein, French: le Rhin, Dutch: Rijn) is a European river that begins in the Swiss canton of Graubünden in the southeastern Swiss Alps, forms part of the Swiss-Austrian, Swiss-Liechtenstein border, Swiss-German and then the Franco-German border, then flows through the Rhineland and eventually empties into the North Sea in the Netherlands. The biggest city on the river Rhine is Cologne, Germany with a population of more than 1,050,000 people. It is the second-longest river in Central and Western Europe (after the Danube), at about 1,230 km (760 mi), with an average discharge of about 2,900 m3/s (100,000 cu ft/s).
（大意：萊茵河是一條位于歐洲的著名河流，始于瑞士阿爾卑斯山，流經(jīng)瑞士、 奧地利、列支敦士登、法國(guó)、德國(guó)、荷蘭，最終在荷蘭注入北海。萊茵河上最大的城市是德國(guó)科隆。它是中歐和西歐區(qū)域的第二長(zhǎng)河流，位于多瑙河之后，約1230公里。）
若針對(duì)該段內(nèi)容提問(wèn)：What river is larger than the Rhine?（什么河比萊茵河長(zhǎng)？）人們可以輕易地給出答案：Danube（多瑙河）。但目前即使是最佳的系統(tǒng)模型R-NET給出的輸出也并不盡人意，它的回答是：科隆，可見(jiàn)要讓計(jì)算機(jī)真正地理解文本內(nèi)容并像人一樣可以對(duì)文字進(jìn)行推理的難度是如此之大。
在回答該問(wèn)題時(shí)，計(jì)算機(jī)除了要處理文中的指代“it”，還需要算法和模型進(jìn)一步對(duì)“l(fā)arger than”和“after”這兩個(gè)表述進(jìn)行推理，從而得知Danube是正確答案。此外，由于文中并沒(méi)有顯式提到Danube是“river”，所以又加大了系統(tǒng)的推理難度。
但大數(shù)據(jù)的發(fā)展讓學(xué)者們看到了這一研究方向的曙光?？色@取的越來(lái)越大的文本數(shù)據(jù)，加上深度學(xué)習(xí)的算法以及海量的云計(jì)算資源，使得研究者們可以針對(duì)長(zhǎng)文本做點(diǎn)對(duì)點(diǎn)的學(xué)習(xí)，即對(duì)句子、短語(yǔ)、上下文進(jìn)行建模，這其中就隱藏了一定的推理能力。所以，目前自然語(yǔ)言處理領(lǐng)域就把基于篇章的理解提上研究的議事日程，成為目前該領(lǐng)域的研究焦點(diǎn)之一。而針對(duì)上文提及的相關(guān)難點(diǎn)，微軟亞洲研究院自然語(yǔ)言計(jì)算研究組正在進(jìn)行下一步的研究和探索。
正如前文所說(shuō)，機(jī)器閱讀理解的研究之路始終充滿(mǎn)著許多困難和挑戰(zhàn)。
首先是數(shù)據(jù)問(wèn)題。目前基于統(tǒng)計(jì)方法（尤其是深度學(xué)習(xí)模型）的機(jī)器閱讀理解的研究離不開(kāi)大量的、人工標(biāo)注的數(shù)據(jù)。在SQuAD數(shù)據(jù)集推出之前，數(shù)據(jù)集常常面臨規(guī)模較小，或是質(zhì)量不佳（因?yàn)槎嗍亲詣?dòng)生成）的問(wèn)題，而SQuAD無(wú)論是在數(shù)據(jù)規(guī)模還是數(shù)據(jù)質(zhì)量上都有一個(gè)很大的提升。在基于深度學(xué)習(xí)方法的研究背景下，數(shù)據(jù)量不夠就很難做出有效、或是有用的模型，更難對(duì)模型進(jìn)行合理、標(biāo)準(zhǔn)的測(cè)試。
另一方面則是算法問(wèn)題。之前自然語(yǔ)言處理在做閱讀理解或者是自動(dòng)問(wèn)答研究的時(shí)候，會(huì)把這個(gè)研究問(wèn)題視作一個(gè)系統(tǒng)的工程，因而把這個(gè)問(wèn)題分成許多不同的部分。例如先去理解用戶(hù)的問(wèn)題；再去找答案的候選；再將候選答案進(jìn)行精挑細(xì)選、互相比較；最后對(duì)候選答案進(jìn)行排序打分，挑選出最可能的答案或者生成最終的答案。而這個(gè)繁復(fù)的過(guò)程中，似乎其中的每一步都是可以?xún)?yōu)化的。
但它相應(yīng)地也會(huì)帶來(lái)一些問(wèn)題。
第一，當(dāng)你分步去優(yōu)化這其中的每一個(gè)過(guò)程的時(shí)候，你會(huì)去研究如何更好地理解這個(gè)問(wèn)題，或是研究如何更好地把答案做對(duì)，這些分目標(biāo)研究結(jié)果的整合未必能和“如何將閱讀理解的答案正確找出來(lái)”這個(gè)目標(biāo)完全吻合。
第二，如果想做局部的優(yōu)化，就意味著每一個(gè)局部過(guò)程都需要相應(yīng)的（標(biāo)注）數(shù)據(jù)，這使得閱讀理解的研究進(jìn)展緩慢。如果只使用問(wèn)題-答案作為訓(xùn)練數(shù)據(jù)，中間模塊的優(yōu)化得到的監(jiān)督信息不那么直接，因而很難有效。
結(jié)合了上述問(wèn)題，微軟亞洲研究院自然語(yǔ)言計(jì)算研究組的機(jī)器閱讀理解研究團(tuán)隊(duì)采用的則是一個(gè)端到端的深度學(xué)習(xí)模型的解決方案，區(qū)別于上述的每一個(gè)細(xì)化環(huán)節(jié)的具體優(yōu)化過(guò)程，他們采取的方法是把中間環(huán)節(jié)盡可能的省去，使得整體的過(guò)程能夠得到最優(yōu)效果。
實(shí)際上，SQuAD的挑戰(zhàn)賽形式就是讓系統(tǒng)在閱讀完一篇幾百詞左右的短文之后再回答5個(gè)基于文章內(nèi)容的問(wèn)題。這個(gè)問(wèn)題可能比大家熟知的高考英文閱讀理解，或是托福閱讀考試都要難得多。人們參加的這些考試往往是一個(gè)答案被限定住范圍的選擇題。
但是在SQuAD的數(shù)據(jù)集中，問(wèn)題和答案具有非常豐富的多樣性。這五個(gè)問(wèn)題中可能涉及文章中的某一個(gè)人，某一個(gè)地點(diǎn)，或是某一個(gè)時(shí)間等等實(shí)體；也有可能會(huì)問(wèn)一些為什么（Why）、怎么樣（How）的問(wèn)題。后者的答案可能實(shí)際上是一句話(huà)，甚至是一小段話(huà)，因此解決這個(gè)問(wèn)題只會(huì)更加棘手。
另外，在SQuAD數(shù)據(jù)集中，除了問(wèn)題的多樣性之外，研究員們發(fā)現(xiàn)還有更多的挑戰(zhàn)。比如語(yǔ)言（包括詞級(jí)別和句子級(jí)別）的歧義性，對(duì)于同一個(gè)意思，問(wèn)題和短文會(huì)用不同的詞語(yǔ)或者句型表述（在標(biāo)注指南中就明確要求標(biāo)注者盡可能使用不同的表述）。另一個(gè)很有難度的挑戰(zhàn)是對(duì)于有些問(wèn)題，找到正確答案需要用到整篇短文中的不同句子的信息，進(jìn)而對(duì)這些信息進(jìn)行聚合和比較才能最終得出正確的答案。當(dāng)然，也有一部分問(wèn)題需要用到比較復(fù)雜的推理、常識(shí)和世界知識(shí)，面對(duì)這類(lèi)問(wèn)題就更是難以處理。下表是發(fā)布SQuAD數(shù)據(jù)集一文中給出的總結(jié)。
表格來(lái)源：Rajpurkar et al. '16
目前SQuAD挑戰(zhàn)賽采用兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)來(lái)對(duì)參與系統(tǒng)的結(jié)果進(jìn)行評(píng)測(cè)。由人工標(biāo)注的答案作為標(biāo)準(zhǔn)，系統(tǒng)自動(dòng)依據(jù)準(zhǔn)確性和相似度兩個(gè)不同的維度進(jìn)行打分，較客觀(guān)地保證了評(píng)分系統(tǒng)的公平性。微軟亞洲研究院團(tuán)隊(duì)在這兩個(gè)不同維度的評(píng)價(jià)標(biāo)準(zhǔn)上均取得了最優(yōu)的成績(jī)，其準(zhǔn)確度達(dá)到了76.922%，相似度達(dá)到了84.006%，高出第二名近兩個(gè)百分點(diǎn)。
為了研究機(jī)器閱讀理解的問(wèn)題，包括韋福如和楊南等在內(nèi)的研究團(tuán)隊(duì)試圖去建模人做閱讀理解的過(guò)程。他們采用了R-NET，一個(gè)多層的網(wǎng)絡(luò)結(jié)構(gòu)，分別從四個(gè)層面對(duì)整個(gè)閱讀理解任務(wù)的算法進(jìn)行了建模。
我們?cè)谧鲩喿x理解的過(guò)程中，一個(gè)常見(jiàn)的順序是這樣的：
首先閱讀整篇文章，對(duì)文章有一個(gè)初步理解之后再去審題，從而對(duì)問(wèn)題也有了一定認(rèn)知。
第二步，可能就需要將問(wèn)題和文中的部分段落和內(nèi)容做一些關(guān)聯(lián)。例如題干中出現(xiàn)的某些關(guān)鍵已知信息（或證據(jù)）的，找出一些候選答案，舉例來(lái)說(shuō)：如果問(wèn)題問(wèn)的信息是時(shí)間，那么文中出現(xiàn)的與時(shí)間相關(guān)的信息就可能是候選答案。
第三步，當(dāng)我們將候選答案與問(wèn)題進(jìn)行對(duì)應(yīng)之后，我們還需要綜合全文去看待這些問(wèn)題，進(jìn)行證據(jù)的融合來(lái)輔證答案的正確性。
最后一步，就是針對(duì)自己挑出的答案候選進(jìn)行精篩，最終寫(xiě)下最正確的答案。
有鑒于此，研究組提出的模型也就分為這樣的四層。
最下面的一層做表示學(xué)習(xí)，就是給問(wèn)題和文本中的每一個(gè)詞做一個(gè)表示，即深度學(xué)習(xí)里的向量。這里研究組使用的是多層的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)。
第二步，就是將問(wèn)題中的向量和文本中的向量做一個(gè)比對(duì)，這樣就能找出那些問(wèn)題和哪些文字部分比較接近。接下來(lái)，將這些結(jié)果放在全局中進(jìn)行比對(duì)。這些都是通過(guò)注意力機(jī)制（attention）達(dá)到的。
最后一步，針對(duì)挑出的答案候選區(qū)中的每一個(gè)詞匯進(jìn)行預(yù)測(cè)，哪一個(gè)詞是答案的開(kāi)始，到哪個(gè)詞是答案的結(jié)束。這樣，系統(tǒng)會(huì)挑出可能性最高的一段文本，最后將答案輸出出來(lái)。
整個(gè)過(guò)程就是一個(gè)基于以上四個(gè)層面的神經(jīng)網(wǎng)絡(luò)的端到端系統(tǒng)（見(jiàn)下圖）。
微軟亞洲研究院提出的R-NET算法的網(wǎng)絡(luò)結(jié)構(gòu)圖。其中最為獨(dú)特的部分是第三層文章的自匹配網(wǎng)絡(luò)（Self-Matching Networks），更多細(xì)節(jié)請(qǐng)點(diǎn)擊此鏈接，參考技術(shù)報(bào)告。
關(guān)于這項(xiàng)研究的論文已經(jīng)被ACL 2017錄用，并獲得審稿者的一致好評(píng)。
SQuAD數(shù)據(jù)集于2016年9月份發(fā)布了正式版。一經(jīng)推出，微軟亞洲研究院自然語(yǔ)言計(jì)算研究組就敏銳地判斷這是一個(gè)非常重要的數(shù)據(jù)集，將會(huì)極大地推動(dòng)機(jī)器閱讀理解的研究，并將在研究界和工業(yè)界產(chǎn)生積極深遠(yuǎn)的影響。10月，研究團(tuán)隊(duì)就第一次提交了他們的研究成果，并且取得了第一名的好成績(jī)，而后續(xù)幾個(gè)月的數(shù)次提交，則是在不斷地刷新著自己的成績(jī)。對(duì)于研究團(tuán)隊(duì)來(lái)說(shuō)，這其實(shí)是一個(gè)試錯(cuò)的過(guò)程，團(tuán)隊(duì)每天都會(huì)討論總結(jié)當(dāng)天的試錯(cuò)成果，有新的想法就不斷嘗試。
提及機(jī)器閱讀理解未來(lái)值得探索的方向，韋福如分享了他的三點(diǎn)看法。他認(rèn)為一方面基于深度學(xué)習(xí)的算法和模型還有很大的空間，適合機(jī)器閱讀理解的網(wǎng)絡(luò)結(jié)構(gòu)值得在SQuAD類(lèi)似的數(shù)據(jù)集上進(jìn)一步嘗試和驗(yàn)證。具體來(lái)說(shuō)，通過(guò)對(duì)R-NET目前處理不好的問(wèn)題的進(jìn)一步分析，能否提出可以對(duì)復(fù)雜推理進(jìn)行有效建模，以及能把常識(shí)和外部知識(shí)（比如知識(shí)庫(kù)）有效利用起來(lái)的深度學(xué)習(xí)網(wǎng)絡(luò)，是目前很有意義的研究課題。另外，目前基于深度學(xué)習(xí)的閱讀理解模型都是黑盒的，很難直觀(guān)地表示機(jī)器進(jìn)行閱讀理解的過(guò)程和結(jié)果，因而可解釋性的深度學(xué)習(xí)模型也將是很有趣的研究方向。
其次，人類(lèi)理解文本的能力是多維度的，結(jié)合多任務(wù)（尤其是閱讀理解相關(guān)的任務(wù)，例如閱讀理解之后進(jìn)行摘要和問(wèn)答）的模型非常值得關(guān)注和期待。更進(jìn)一步，雖然SQuAD提供了比較大的人工標(biāo)注數(shù)據(jù)集，如何有效且高效地使用未標(biāo)注的數(shù)據(jù)也是非常值得期待的研究課題和方向。
最后從任務(wù)上看，目前SQuAD的任務(wù)定義中答案是原文的某個(gè)子片段，而實(shí)際中人可能讀完文章之后需要進(jìn)行更復(fù)雜的推理、并組織新的文字表達(dá)出來(lái)。
“目前我們的算法基本都是抽取型的方式，未來(lái)生成型的算法也值得更多的探索和研究。另外，目前機(jī)器閱讀理解關(guān)注的都是理解客觀(guān)信息的能力，未來(lái)機(jī)器理解文字里面所表達(dá)出來(lái)的主觀(guān)信息（例如情感）也是非常有趣并值得關(guān)注的方向。”韋福如說(shuō)道。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
