2
| 本文作者： 奕欣 | 2018-01-13 19:08 |
雷鋒網 AI 科技評論消息，2018 年對于 NLP 領域、特別對于中國 NLP 研究來說，想必是不平凡的一年。在斯坦福大學發(fā)起的 SQuAD（Stanford Question Answering Dataset）文本理解挑戰(zhàn)賽上，以阿里巴巴、 微軟亞洲研究院（下稱 MSRA）為代表的中國研究團隊在近日相繼刷新了 SQuAD 紀錄，機器閱讀能力的準確率首次超越人類。
官網顯示，阿里巴巴與 MSRA 目前并列 SQuAD 榜單的第一名。
阿里巴巴 iDST NLP 團隊于 1 月 5 日提交的 SLQA + 在 EM 值（Exact Match, 表示預測答案和真實答案完全匹配）上也獲得了 82.440 的優(yōu)秀成績，F(xiàn)1 值（F1-score，評測模型的整體性能）則為 88.607。
MSRA 自然語言計算組于 2018 年 1 月 3 日提交的 R-NET 模型在 EM 值上獲得了 82.650 的成績，在 F1 值上的表現(xiàn)為 88.493 。
兩個團隊的 EM 值成績都超越了人類在該項目上的得分——82.304，這也標志著，機器閱讀理解準確率超越人類這一看似困難重重的目標，在 2018 年已經成為現(xiàn)實。
SQuAD（Stanford Question Answering Dataset）是行業(yè)內公認的機器閱讀理解領域的頂級水平測試，被譽為機器閱讀理解領域的 ImageNet。它構建了一個包含十萬個問題的大規(guī)模機器閱讀理解數(shù)據集，選取超過 500 篇的維基百科文章。機器在閱讀數(shù)據集內的文章后，需要回答若干與文章內容相關的問題，并通過與標準答案的比對，得到精確匹配（Exact Match）和模糊匹配（F1-score）的結果。
在最新榜單中，包括騰訊、科大訊飛在內的中國研究團隊也有著不俗表現(xiàn)，成績取得了相應的大幅提升。科大訊飛與哈工大聯(lián)合實驗室(HFL)、微軟都曾經刷新過 SQuAD 的紀錄，雷鋒網 AI 科技評論也曾做過相關報道。
機器閱讀理解技術擁有廣闊的應用場景，比如在精準問答上能為用戶提供極大的幫助；另外，它也能推動很多 NLP 相關領域的進步，如知識的表示、上下文篇章理解、知識推理等。
阿里巴巴自然語言處理首席科學家司羅表示，未來希望能向終極目標邁進，即機器真正對通用內容「能理解會思考」。
據了解，阿里巴巴 iDST NLP 團隊在本次 SQuAD 的榜單上獲得第一，主要得益于其提出的「基于分層融合注意力機制」的深度神經網絡模型。這一模型能夠模擬人類在閱讀理解中所產生的行為，包括審題、帶著問題閱讀文章，對文章進行標注等。
這樣一來，模型能夠在找尋問題與文章關聯(lián)的同時，借助分層策略，逐步集中注意力，使答案邊界清晰；另外，采用「融合方式將全局信息加入注意力機制」，以確保關注點正確。
這一技術實際上已被應用于阿里巴巴內部，例如顧客在雙十一期間對活動規(guī)則進行咨詢，阿里小蜜通過機器閱讀理解技術，幫助顧客進行相關問題的解答。又如，這一技術能夠幫助顧客閱讀商品詳情頁，智能提取信息，為顧客直接解答基礎問題等。
MSRA 副院長、自然語言計算組負責人周明博士也第一時間對研究院的優(yōu)秀成績表示祝賀：「祝賀中國的自然語言理解研究已經走在世界前列！整個領域的進步需要大家共同的努力和投入來推動。自然語言處理長路漫漫，讓我們共勉。」
關于 MSRA R-NET 的技術細節(jié)，可以理解為一個多層的網絡結構，對整個閱讀理解任務的算法進行建模。具體包括如下步驟：
閱讀文章及審題：最底層做表示學習，采用多層的雙向循環(huán)神經網絡，給問題和文本中的每一個詞做一個表示，即深度學習里的向量。
尋找問題與文中內容的關聯(lián)，綜合全文進行驗證：通過注意力機制（attention），將問題中的向量和文本中的向量做一個比對，找出問題和哪些文字比較接近。然后，再將結果放在全局中比對。
精篩，選出正確答案：針對挑出的答案候選區(qū)中的每一個詞匯進行預測，哪一個詞是答案的開始，到哪個詞是答案的結束。這樣，系統(tǒng)會挑出可能性最高的一段文本，最后將答案輸出出來。
整個過程就是一個基于以上層面的神經網絡的端到端系統(tǒng)（見下圖）。
關于 R－Net 的詳細內容，可參考 AI 科技評論往期文章《從短句到長文，微軟研究院如何教計算機學習閱讀理解？》。
更多精彩內容，敬請關注雷鋒網 AI 科技評論。
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
