0
雷鋒網(wǎng) AI 科技評論按，1 月 23 日，谷歌人工智能語言研究科學家 Tom Kwiatkowski 和 Michael Collins 在 Google AI Blog 上發(fā)布了一篇博文，宣布發(fā)布一個新的大規(guī)模訓練和評估開放領域問答系統(tǒng)的語料庫 Natural Questions （NQ），旨在推動人們開發(fā)出更有效、更強大的問答系統(tǒng)。
開放域問答（QA）是自然語言理解（NLU）中的一項基準任務，旨在模擬人們?nèi)绾螌ふ倚畔?，通過閱讀和理解整個文檔來找到問題的答案。給出一個用自然語言表達的問題（「為什么天空是藍色的？」）一個問答系統(tǒng)應該能夠閱讀網(wǎng)頁（比如這個維基百科頁面）并返回正確的答案，即便這個答案有點復雜和冗長。然而，目前還沒有大量公開的可用于訓練和評估問答模型的自然生成問題（如人們尋求信息時提出的問題）及答案。這是因為，為了回答問題而收集一個高質(zhì)量的數(shù)據(jù)集，不僅需要大量真實的問題源，還需要大量的人力才能找到正確的答案。
為了推動問答系統(tǒng)的研究進展，他們很高興地發(fā)布自然問題（Natural Questions，NQ），這是一個新的大規(guī)模訓練和評估開放領域問題回答系統(tǒng)的語料庫，它第一個復制了人們找到問題答案的端到端流程。NQ 很大，由 30 萬個自然發(fā)生的問題以及維基百科頁面上的人工注釋答案組成，它們可以被用于訓練問答系統(tǒng)。他們還包括 16000 個由 5 個不同的注釋員標注了答案（對同一個問題）的例子，這有助于評估經(jīng)過訓練的問答系統(tǒng)的性能。對于計算機來說，回答瑣事是很容易的。由于在 NQ 中回答問題需要比回答瑣事對問題有更深入的理解，基于這些數(shù)據(jù)他們還組織了一次競賽，以幫助推動計算機自然語言理解這項研究的進展。雷鋒網(wǎng)
數(shù)據(jù)
NQ 是首先使用自然發(fā)生的查詢的數(shù)據(jù)集，它專注于通過閱讀整個頁面而不是從短段落中提取答案來查找答案。為了創(chuàng)建 NQ，他們從用戶向谷歌搜索引擎提出的真實、匿名、聚合的查詢開始。然后，他們要求注釋員通過閱讀整個維基百科頁面來找到答案，就像問題是他們自己提出來的一樣。注釋員尋找包含推斷答案所需的所有信息的長答案，以及簡潔地用一個或多個詞語回答問題的短答案。NQ 語料庫中注釋的準確度高達 90%。
NQ 旨在使問答系統(tǒng)能夠閱讀和理篇整個維基百科文章，這些文章可能包含問題的答案，也可能不包含問題的答案。首先，系統(tǒng)需要確定問題是否定義得足夠好，可以回答——許多問題都包含錯誤的假設，或者描述太模糊，無法簡明地回答。然后，他們需要確定維基百科頁面中是否有任何部分包含推斷答案所需的所有信息。他們認為，長答案識別任務——找到推斷答案所需的所有信息——需要比在知道長答案后找到短答案更深入的語言理解水平。
他們的論文「Natural Questions: a Benchmark for Question Answering Research」，已在計算語言學協(xié)會學報上發(fā)表，文章對數(shù)據(jù)收集過程進行了全面的描述。要從數(shù)據(jù)集中查看更多示例，請訪問 NQ 網(wǎng)站。
挑戰(zhàn)賽
自然問題有一個 7842 個示例的盲測試集，其格式與發(fā)布的開發(fā)集完全相同。在此頁面上創(chuàng)建一個配置文件以在測試集上運行模型，并查看它們的性能。為了保持測試集的完整性，每個團隊每周只允許提交一次。你們可以在他們提供的 200 個示例 dev set 上運行測試。這個不限制次數(shù)。
要提交一個模型，您應該創(chuàng)建一個 Docker 映像，并按照 NQ 的 Github 頁面上的說明將其上傳到谷歌云存儲庫。
上傳圖像后，請登錄此頁面以顯示提交表單。選擇要顯示在 NQ 排行榜上的模型名稱，以及將在個人主頁上顯示的標簽。
他們希望 NQ 的發(fā)布以及相關(guān)的挑戰(zhàn)賽將有助于推動大家開發(fā)出更有效、更強大的 QA 系統(tǒng)。他們鼓勵 NLU 社區(qū)參與并幫助縮小當前最先進方法與人類上限之間的巨大差距。請訪問挑戰(zhàn)賽網(wǎng)站，查看排行榜并了解更多信息。
via：https://ai.googleblog.com/2019/01/natural-questions-new-corpus-and.html
雷鋒網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
