據(jù)雷鋒的《AI技術(shù)評(píng)論》報(bào)道，1月23日，谷歌AI語(yǔ)言研究科學(xué)家湯姆·科維亞特科夫斯基和邁克爾·科林斯在谷歌AI Blog上發(fā)表博文，宣布發(fā)布新的語(yǔ)料庫(kù)《自然問(wèn)題》(NQ)，用于大規(guī)模訓(xùn)練和評(píng)估開(kāi)放領(lǐng)域問(wèn)答系統(tǒng)，旨在推動(dòng)人們開(kāi)發(fā)出更有效、更強(qiáng)大的問(wèn)答系統(tǒng)。

開(kāi)放領(lǐng)域問(wèn)答是自然語(yǔ)言理解(NLU)中的一項(xiàng)基準(zhǔn)任務(wù)，旨在模擬人們?nèi)绾瓮ㄟ^(guò)閱讀和理解整個(gè)文檔來(lái)尋找信息和問(wèn)題的答案。給出一個(gè)用自然語(yǔ)言表達(dá)的問(wèn)題(“天空為什么是藍(lán)色的？一個(gè)問(wèn)答系統(tǒng)應(yīng)該能夠閱讀網(wǎng)頁(yè)(比如這個(gè)維基百科頁(yè)面)并返回正確答案，即使答案有點(diǎn)復(fù)雜冗長(zhǎng)。但目前還沒(méi)有大量公開(kāi)的自然生成問(wèn)題(如人們?cè)趯で笮畔r(shí)提出的問(wèn)題)及其答案，可以用來(lái)訓(xùn)練和評(píng)價(jià)問(wèn)答模型。這是因?yàn)槭占粋€(gè)高質(zhì)量的回答問(wèn)題的數(shù)據(jù)集不僅需要大量真實(shí)的問(wèn)題源，還需要大量的人力來(lái)找到正確的答案。

為了促進(jìn)問(wèn)答系統(tǒng)的研究進(jìn)展，他們欣然出版了《自然問(wèn)題(NQ)》，這是一個(gè)在開(kāi)放領(lǐng)域?qū)?wèn)答系統(tǒng)進(jìn)行大規(guī)模培訓(xùn)和評(píng)估的新語(yǔ)料庫(kù)，也是第一個(gè)復(fù)制端到端的過(guò)程讓人們尋找問(wèn)題的答案。NQ很大，由30萬(wàn)個(gè)自然出現(xiàn)的問(wèn)題和維基百科頁(yè)面上手工標(biāo)注的答案組成，可以用來(lái)訓(xùn)練問(wèn)答系統(tǒng)。它們還包括16，000個(gè)由五個(gè)不同標(biāo)注器標(biāo)注答案的例子，這有助于評(píng)估經(jīng)過(guò)訓(xùn)練的問(wèn)答系統(tǒng)的性能。電腦很容易回答瑣碎的事情。因?yàn)樵贜Q回答問(wèn)題需要比回答瑣事更深刻的理解問(wèn)題，基于這些數(shù)據(jù)，他們還組織了一場(chǎng)比賽，以幫助促進(jìn)計(jì)算機(jī)自然語(yǔ)言理解的研究進(jìn)展。雷鋒。com

數(shù)據(jù)

NQ是一個(gè)數(shù)據(jù)集，它首先使用自然出現(xiàn)的查詢(xún)，它專(zhuān)注于通過(guò)閱讀整個(gè)頁(yè)面來(lái)尋找答案，而不是從簡(jiǎn)短的段落中提取答案。為了創(chuàng)造NQ，他們從用戶(hù)對(duì)谷歌搜索引擎的真實(shí)、匿名和聚合查詢(xún)開(kāi)始。然后，他們讓播音員通過(guò)閱讀整個(gè)維基百科頁(yè)面來(lái)找到答案，就像他們自己提出了這個(gè)問(wèn)題一樣。注釋者尋找包含推斷答案所需的所有信息的長(zhǎng)答案，以及用一個(gè)或多個(gè)單詞簡(jiǎn)潔地回答問(wèn)題的短答案。NQ語(yǔ)料庫(kù)的標(biāo)注準(zhǔn)確率高達(dá)90%。

NQ的目標(biāo)是使問(wèn)答系統(tǒng)能夠閱讀和推理整個(gè)維基百科文章，其中可能包含也可能不包含問(wèn)題的答案。首先，系統(tǒng)需要確定問(wèn)題是否定義明確，是否可以回答——很多問(wèn)題包含錯(cuò)誤的假設(shè)，或者描述過(guò)于模糊，無(wú)法簡(jiǎn)潔地回答。然后，他們需要確定維基百科頁(yè)面的任何部分是否包含推導(dǎo)答案所需的所有信息。他們認(rèn)為，識(shí)別長(zhǎng)答案的任務(wù)——找到推斷答案所需的所有信息——比在知道長(zhǎng)答案后找到短答案需要更深層次的語(yǔ)言理解。

他們的論文《自然問(wèn)題:問(wèn)答研究的基準(zhǔn)》已經(jīng)發(fā)表在《計(jì)算語(yǔ)言學(xué)協(xié)會(huì)雜志》上，對(duì)數(shù)據(jù)收集過(guò)程進(jìn)行了全面的描述。要查看數(shù)據(jù)集的更多示例，請(qǐng)?jiān)L問(wèn)NQ網(wǎng)站。

挑戰(zhàn)

自然題有7842個(gè)例子的盲測(cè)集，格式和公布的開(kāi)發(fā)集一模一樣。在此頁(yè)面上創(chuàng)建一個(gè)概要文件，以便在測(cè)試集上運(yùn)行模型并查看它們的性能。為了保持測(cè)試集的完整性，每個(gè)團(tuán)隊(duì)只允許每周提交一次。您可以在他們提供的200個(gè)示例devsets上運(yùn)行測(cè)試。這個(gè)次數(shù)沒(méi)有限制。

要提交模型，您應(yīng)該創(chuàng)建一個(gè)Docker映像，并根據(jù)NQ Github頁(yè)面上的說(shuō)明將其上傳到谷歌云存儲(chǔ)。

上傳圖片后，請(qǐng)登錄此頁(yè)面顯示提交表單。選擇要在NQ排行榜上顯示的車(chē)型名稱(chēng)和要在個(gè)人主頁(yè)上顯示的標(biāo)簽。

他們希望NQ和相關(guān)挑戰(zhàn)的發(fā)布將有助于促進(jìn)更有效和更強(qiáng)大的質(zhì)量保證系統(tǒng)的發(fā)展。他們鼓勵(lì)NLU社區(qū)參與，并幫助縮小當(dāng)前最先進(jìn)的方法和人類(lèi)上限之間的巨大差距。請(qǐng)?jiān)L問(wèn)挑戰(zhàn)賽網(wǎng)站查看排行榜并了解更多信息。

via:https://ai . googleblog . com/2019/01/natural-questions-new-corps-and . html

雷鋒。com