雷鋒網(wǎng) AI 科技評(píng)論按，來(lái)自微軟亞洲研究院（MSRA）自然語(yǔ)言處理（NLP）小組和微軟 Redmond 語(yǔ)言對(duì)話(huà)研究小組的一組研究人員目前在斯坦福大學(xué)組織的對(duì)話(huà)問(wèn)答（COQA）挑戰(zhàn)中處于領(lǐng)先位置。在這一挑戰(zhàn)中，衡量機(jī)器的方法是其理解文本段落和回答會(huì)話(huà)中出現(xiàn)的一系列相互關(guān)聯(lián)的問(wèn)題的能力大小。微軟目前是唯一一個(gè)在其模型性能上達(dá)到人類(lèi)同等水平的團(tuán)隊(duì)。

CoQA 是一個(gè)大型的會(huì)話(huà)問(wèn)答數(shù)據(jù)集，由來(lái)自不同領(lǐng)域的一組文章上的會(huì)話(huà)問(wèn)題組成。MSRA NLP 團(tuán)隊(duì)使用斯坦福問(wèn)答數(shù)據(jù)集（SQuAD）在單輪問(wèn)答上達(dá)到了人類(lèi)同等水平，這是一個(gè)新的里程碑。與 SQuAD 相比，CoQA 中的問(wèn)題更具對(duì)話(huà)性，為了確保答案看起來(lái)自然，它可以是自由格式的文本。

CoQA 中的問(wèn)題非常簡(jiǎn)短，可以模仿人類(lèi)的對(duì)話(huà)。此外，第一個(gè)問(wèn)題之后的每個(gè)問(wèn)題都是基于前面的問(wèn)題的，這使得機(jī)器更難解析簡(jiǎn)短的問(wèn)題。例如，假設(shè)你問(wèn)一個(gè)系統(tǒng)，「誰(shuí)是微軟的創(chuàng)始人？」，當(dāng)你繼續(xù)問(wèn)第二個(gè)問(wèn)題「他什么時(shí)候出生的？」時(shí)，你需要理解你仍然在談?wù)摵椭跋嗤脑?huà)題。

來(lái)自 CoQA 數(shù)據(jù)集的對(duì)話(huà)。CoQA 論文：https://arxiv.org/abs/1808.07042

為了更好地測(cè)試現(xiàn)有模型的泛化能力，CoQA 從收集了七個(gè)不同領(lǐng)域的數(shù)據(jù)：兒童故事、文學(xué)、初高中英語(yǔ)考試、新聞、維基百科、Reddit 和科學(xué)。前五個(gè)用于訓(xùn)練、開(kāi)發(fā)和測(cè)試集，后兩個(gè)僅用于測(cè)試集。CoQA 使用 F1 度量來(lái)評(píng)估性能。F1 度量衡量的是預(yù)測(cè)內(nèi)容和真實(shí)答案答案之間的平均重疊詞。域內(nèi) F1 根據(jù)訓(xùn)練集所在域的測(cè)試數(shù)據(jù)進(jìn)行評(píng)分；域外 F1 根據(jù)不同域的測(cè)試數(shù)據(jù)進(jìn)行評(píng)分?？偟?F1 度量值是整個(gè)測(cè)試集的最終得分。

微軟研究人員所采用的方法使用了一種特殊的策略，即利用從幾個(gè)相關(guān)任務(wù)中獲得的信息來(lái)改進(jìn)目標(biāo)機(jī)器閱讀理解（MRC）任務(wù)。在多階段、多任務(wù)、微調(diào)方法中，研究人員首先在多任務(wù)設(shè)置下從相關(guān)任務(wù)中學(xué)習(xí) MRC 相關(guān)背景信息，然后對(duì)目標(biāo)任務(wù)的模型進(jìn)行微調(diào)。語(yǔ)言建模在這兩個(gè)階段都作為輔助任務(wù)使用，以幫助減少會(huì)話(huà)問(wèn)答模型的過(guò)度擬合。實(shí)驗(yàn)證明了該方法的有效性，其在 CoQA 挑戰(zhàn)中的強(qiáng)大性能也證明了這一點(diǎn)。

多級(jí)多任務(wù)微調(diào)模型概述

根據(jù) CoQA 排行榜，微軟研究人員于 2019 年 3 月 29 日提交的系統(tǒng)得分達(dá)到 89.9/88.0/89.4，分別作為其領(lǐng)域內(nèi)、領(lǐng)域外和整體 F1 分?jǐn)?shù)。而在面對(duì)同一組會(huì)話(huà)問(wèn)題和答案，人的表現(xiàn)得分為 89.4/87.4/88.8。

這一成就標(biāo)志著搜索引擎（如 Bing）和智能助手（如 Cortana）在與人互動(dòng)和以更自然的方式提供信息方面取得了重大進(jìn)展，就像人們相互交流一樣。然而，一般的機(jī)器閱讀理解和問(wèn)答仍然是自然語(yǔ)言處理中未解決的問(wèn)題。為了進(jìn)一步擴(kuò)大機(jī)器理解和生成自然語(yǔ)言的能力邊界，團(tuán)隊(duì)將繼續(xù)致力于生成更強(qiáng)大的預(yù)訓(xùn)練模型。

via:https://www.microsoft.com/en-us/research/blog/machine-reading-systems-are-becoming-more-conversational/

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。