雷鋒網(wǎng) AI 研習(xí)社按，日前，由中國(guó)中文信息學(xué)會(huì) (CIPS)、中國(guó)計(jì)算機(jī)學(xué)會(huì) (CCF) 和百度公司聯(lián)合舉辦的「2018 機(jī)器閱讀理解技術(shù)競(jìng)賽」落下帷幕，Naturali 奇點(diǎn)機(jī)智從國(guó)內(nèi)外 800 多支隊(duì)伍中脫穎而出，獲得第一名。在兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn) ROUGE-L 和 BLEU-4 上，奇點(diǎn)機(jī)智分別獲得 63.38 和 59.23 的得分，均高出第二名超過(guò)兩分。（目前，奇點(diǎn)機(jī)智憑借在「2018 機(jī)器閱讀理解技術(shù)競(jìng)賽」上獲得冠軍以及比賽專訪，在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評(píng)論旗下數(shù)據(jù)庫(kù)項(xiàng)目「AI 影響因子」中獲得 13 分。）

迄今為止，世界機(jī)器閱讀理解領(lǐng)域經(jīng)典賽事多集中在英文領(lǐng)域，比如由斯坦福大學(xué)發(fā)起的 SQuAD 挑戰(zhàn)賽以及微軟的 MS MARCO 機(jī)器閱讀理解測(cè)試，而此次賽事基于百度 DuReader 中文數(shù)據(jù)集，對(duì)中文閱讀理解有著里程碑式的意義。

奇點(diǎn)機(jī)智是一家提供定制化語(yǔ)音交互解決方案的公司，談及參賽原因，他們對(duì)雷鋒網(wǎng) AI 研習(xí)社說(shuō)道，「機(jī)器閱讀理解是推動(dòng)人工智能未來(lái)發(fā)展的核心。機(jī)器能夠并且應(yīng)該去理解人類，而不是人類去理解機(jī)器。閱讀理解是奇點(diǎn)機(jī)智關(guān)注的問(wèn)題，公司的 NLP 團(tuán)隊(duì)在相關(guān)領(lǐng)域有所積累，希望嘗試將開(kāi)發(fā)的基礎(chǔ)組件應(yīng)用到實(shí)際問(wèn)題的解決中，也想借此比賽驗(yàn)證公司在自然語(yǔ)言處理方面的技術(shù)實(shí)力?！?/p>

比賽介紹

本次比賽數(shù)據(jù)集來(lái)自搜索引擎真實(shí)應(yīng)用場(chǎng)景，其中的問(wèn)題為百度搜索用戶的真實(shí)問(wèn)題，每個(gè)問(wèn)題對(duì)應(yīng) 5 個(gè)候選文檔文本及人工整理的優(yōu)質(zhì)答案。

數(shù)據(jù)集共包含 30 萬(wàn)問(wèn)題（27 萬(wàn)訓(xùn)練集、1 萬(wàn)開(kāi)發(fā)集和 2 萬(wàn)測(cè)試集），其中 20 萬(wàn)來(lái)源于百度 DuReader 數(shù)據(jù)集（18 萬(wàn)訓(xùn)練集、1 萬(wàn)開(kāi)發(fā)集和 1 萬(wàn)測(cè)試集）。

DuReader 是迄今為止最大的面向真實(shí)應(yīng)用場(chǎng)景的中文閱讀理解數(shù)據(jù)集，它包含來(lái)自百度搜索的 30 萬(wàn)個(gè)真實(shí)問(wèn)題，數(shù)據(jù)集中標(biāo)注了問(wèn)題類型、實(shí)體和觀點(diǎn)等豐富信息。

在這次比賽中，對(duì)于給定問(wèn)題 q 及其對(duì)應(yīng)的文本形式的候選文檔集合 D=d1, d2, ..., dn，要求參評(píng)閱讀理解系統(tǒng)自動(dòng)對(duì)問(wèn)題及候選文檔進(jìn)行分析，輸出能夠滿足問(wèn)題的文本答案 a。目標(biāo)是 a 能夠正確、完整、簡(jiǎn)潔地回答問(wèn)題 q。

此次比賽評(píng)價(jià)指標(biāo)采用 ROUGH-L 和 BLEU4，ROUGH-L 為主評(píng)價(jià)指標(biāo)。針對(duì)是非及實(shí)體類型問(wèn)題，主辦方對(duì) ROUGE-L 和 BLEU4 評(píng)價(jià)指標(biāo)進(jìn)行了微調(diào)，適當(dāng)增加了正確識(shí)別是非答案類型及匹配實(shí)體的得分獎(jiǎng)勵(lì)，這在一定程度上彌補(bǔ)了傳統(tǒng) ROUGE-L 和 BLEU4 指標(biāo)對(duì)是非和實(shí)體類型問(wèn)題評(píng)價(jià)不敏感的問(wèn)題。

奇點(diǎn)機(jī)智表示，長(zhǎng)時(shí)間以來(lái)，自然語(yǔ)言處理的研究都是基于句子級(jí)別的閱讀理解，例如理解句子中的主謂賓、定狀補(bǔ)，時(shí)間、地點(diǎn)、事件等等。然而，基于篇章的長(zhǎng)文本理解一直是一個(gè)技術(shù)難題，因?yàn)樯婕暗礁唠y度的研究?jī)?nèi)容，例如句子之間的連貫、上下文、推理等等，這也正是此次競(jìng)賽面臨的挑戰(zhàn)。

雖然目前機(jī)器閱讀理解與人類還存在差距，但此次比賽中，他們的答案與人工標(biāo)注的答案非常接近，甚至有些比人工答案更全面，這也算是一大進(jìn)步。下面是奇點(diǎn)機(jī)智答案與人工標(biāo)注答案的對(duì)比：

• 問(wèn)題：昆特牌什么時(shí)候公測(cè)（實(shí)體類）

奇點(diǎn)機(jī)智答案：「巫師之昆特牌國(guó)服山丘試煉開(kāi)啟時(shí)間為 6 月 6 日， 暫定為期兩周，即 6 月 6 日-6 月 19 日?！?/p>

人工答案：「時(shí)間為 6 月 6 日，暫定為期兩周，即 6 月 6 日-6 月 19 日?！?/p>

• 問(wèn)題：肩袖損傷能自愈嗎（判斷類）

奇點(diǎn)機(jī)智答案：「肩周炎是可以治愈的，但是需要鍛煉，不然的話。時(shí)間長(zhǎng)了肩周炎，就很難活動(dòng)了。」

人工答案：「肩周炎是可以治愈的，但是需要鍛煉，不然的話。時(shí)間長(zhǎng)了肩周炎，就很難活動(dòng)了。」, 「一般是不可以治愈的，需要外用膏藥，結(jié)合活血化瘀的藥品治療?！?/p>

• 問(wèn)題：蘭陵王妃大結(jié)局是什么（描述類）

奇點(diǎn)機(jī)智答案：「女主選擇了蘭陵王高長(zhǎng)恭，離開(kāi)了北周，但是女主最后被蕭洛云殺了，當(dāng)時(shí)她和蘭陵王高長(zhǎng)恭在一起，所以宇文邕并不知道最后她死了，但也是在死前的最后那一刻她才明白自己最愛(ài)的人是宇文邕?！?/p>

人工答案：「女主選擇了蘭陵王高長(zhǎng)恭，離開(kāi)了北周，但是女主最后被蕭洛云殺了，當(dāng)時(shí)她和蘭陵王高長(zhǎng)恭在一起，所以宇文邕并不知道最后她死了，但也是在死前的最后那一刻她才明白自己最愛(ài)的人是宇文邕?！? 「高長(zhǎng)恭最終抱的美人歸，與元清鎖共度生死?！?/p>

從直觀感覺(jué)上來(lái)說(shuō)，奇點(diǎn)機(jī)智的回答比較完整和合理，從指標(biāo)上來(lái)說(shuō)，在比賽中 BLEU 超越第二名兩分也是非常難得的。

參賽細(xì)節(jié)

將中文閱讀理解與英文相對(duì)比，中文存在分詞問(wèn)題，也缺少像 GloVe 這樣在大規(guī)模數(shù)據(jù)上預(yù)訓(xùn)練好的詞向量。此外，中文的成語(yǔ)典故、俗語(yǔ)、一詞多義、歧義等都增加了機(jī)器閱讀的難度。那么面對(duì)這些挑戰(zhàn)，奇點(diǎn)機(jī)智在比賽中是如何完成這看似不可能的任務(wù)的呢？

據(jù)奇點(diǎn)機(jī)智介紹，這次比賽主要是由技術(shù)團(tuán)隊(duì)的兩名同事做系統(tǒng)實(shí)驗(yàn)，其他同事提供相關(guān)幫助。

他們對(duì)雷鋒網(wǎng) AI 研習(xí)社表示，比賽數(shù)據(jù)集都是用戶的真實(shí)問(wèn)答，有些問(wèn)題在百度搜索里沒(méi)有答案，而且問(wèn)題不一定很直接。比如「響一聲就說(shuō)正在通話中」，這表面上并不是一個(gè)問(wèn)題，用戶描述了一個(gè)現(xiàn)象，這種問(wèn)題回答起來(lái)更具挑戰(zhàn)性。

由于競(jìng)賽給定了文檔全文，有的文檔可能會(huì)非常長(zhǎng)，為了不超出內(nèi)存占用和保證訓(xùn)練效率，他們采取了簡(jiǎn)單有效的啟發(fā)式方法預(yù)先對(duì)每個(gè)文檔抽取可能包含答案的部分內(nèi)容。

他們針對(duì)判斷類問(wèn)題訓(xùn)練了一個(gè)額外的分類模型，除此之外，比賽數(shù)據(jù)集中有一部分?jǐn)?shù)據(jù)來(lái)源于百度搜索，一部分?jǐn)?shù)據(jù)來(lái)源于百度知道，針對(duì)問(wèn)題來(lái)源，他們也做了一些策略調(diào)整。

在特征的選擇上，他們使用了詞向量、詞性標(biāo)注向量、以及篇章中的詞是否出現(xiàn)在問(wèn)題中。

在模型選擇上，他們閱讀了大量論文，參考和借鑒了很多經(jīng)典 MRC 模型，比如 BIDAF、Match-LSTM、R-Net、DCN 等。最終的模型基于 BIDAF，他們嘗試引入了多個(gè)答案的信息。

此外，他們也發(fā)現(xiàn)，一些 NLP 的底層基礎(chǔ)部件，比如分詞和詞向量表示等也會(huì)對(duì)系統(tǒng)性能產(chǎn)生一定影響。

而從公布數(shù)據(jù)到最終結(jié)果提交只有兩個(gè)月左右的時(shí)間，雖然時(shí)間上比較緊迫，但公司內(nèi)部有自己的實(shí)驗(yàn)系統(tǒng)和比較充足的硬件資源。

奇點(diǎn)機(jī)智表示，「在這次比賽中，公司在自然語(yǔ)言處理方面的技術(shù)積累，團(tuán)隊(duì)超強(qiáng)的執(zhí)行力和學(xué)習(xí)力，良好的硬件資源和實(shí)驗(yàn)平臺(tái)都是奪得冠軍的因素?！?/p>

值得一提的是，參與競(jìng)賽的兩位技術(shù)人員平時(shí)在奇點(diǎn)機(jī)智是做機(jī)器學(xué)習(xí)、語(yǔ)音識(shí)別相關(guān)工作，參賽之前沒(méi)有特別接觸過(guò)閱讀理解。能在短短兩個(gè)月左右快速上手并最終奪冠，這也在一定程度上反應(yīng)了團(tuán)隊(duì)超強(qiáng)的學(xué)習(xí)力和執(zhí)行力。

未來(lái)

他們表示，在比較干凈的數(shù)據(jù)集上，機(jī)器模型已經(jīng)可以做到非常好，比如在維基百科上，機(jī)器的表現(xiàn)已經(jīng)可以超過(guò)人類。如果數(shù)據(jù)集比較原始，依然會(huì)有不錯(cuò)的表現(xiàn)，但挑戰(zhàn)更大，這也是他們?cè)敢馊ヌ魬?zhàn)的難題。閱讀理解在一定程度上會(huì)給語(yǔ)音助手、問(wèn)答系統(tǒng)等帶來(lái)諸多利好，這也是他們的研究重點(diǎn)。

這次比賽使得他們對(duì)閱讀理解任務(wù)有了更深入的理解，包括任務(wù)可能運(yùn)用的場(chǎng)景、問(wèn)題難點(diǎn)等。下一步，他們一方面將在性能上嘗試對(duì)模型進(jìn)一步優(yōu)化，另一方面，將在工程上考慮將機(jī)器閱讀引入實(shí)際商業(yè)場(chǎng)景和產(chǎn)品中。參賽團(tuán)隊(duì)對(duì)雷鋒網(wǎng) AI 研習(xí)社說(shuō)道，希望通過(guò)此次真實(shí)用戶問(wèn)答數(shù)據(jù)，訓(xùn)練優(yōu)質(zhì)實(shí)用的模型，將領(lǐng)先的機(jī)器閱讀理解技術(shù)應(yīng)用于今后的產(chǎn)品以及各個(gè)領(lǐng)域中。

在采訪的最后，奇點(diǎn)機(jī)智 CTO 林德康表示，「我們對(duì)過(guò)去的積累非常有信心，我們?cè)敢馊プ鲇幸饬x的、有挑戰(zhàn)性的事情，同時(shí)，我們也會(huì)經(jīng)常組織大家一起學(xué)習(xí)、讀論文，進(jìn)行小組討論。沒(méi)有什么可以阻止我們不斷學(xué)習(xí)，獲取最先進(jìn)的理念和技術(shù)?！?/p>

對(duì)奇點(diǎn)機(jī)智感興趣的同學(xué)，歡迎將簡(jiǎn)歷投至 jobs@naturali.io

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。