機(jī)器的心報(bào)道

作者：莉亞西亞

計(jì)算機(jī)視覺(jué)和模式識(shí)別領(lǐng)域的最高一屆CVPR 2017在美國(guó)夏威夷剛剛落下帷幕，計(jì)算語(yǔ)言領(lǐng)域的最高一屆ACL將在加拿大溫哥華重新開(kāi)幕。

從 4 月份 ACL 2017 接收論文公布以來(lái)，機(jī)器之心已經(jīng)陸續(xù)對(duì) ACL 2017 做了數(shù)篇報(bào)道。在這篇文章中，我們將對(duì) ACL 2017 的論文進(jìn)行梳理，包括國(guó)內(nèi) 5 篇獲獎(jiǎng)的杰出論文，騰訊、微軟亞洲研究院、科大訊飛、搜狗等國(guó)內(nèi)公司被接收的論文。

國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì) (ACL，The Association for Computational Linguistics)，是世界上影響力最大、最具活力的國(guó)際學(xué)術(shù)組織之一，其會(huì)員遍布世界各地。第 55 屆國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)（ACL）年會(huì)將于 7 月 30 日-8 月 4 日在加拿大溫哥華舉行。

作為計(jì)算語(yǔ)言學(xué)領(lǐng)域的首要會(huì)議，廣泛涉及自然語(yǔ)言的計(jì)算方法及其各類(lèi)研究領(lǐng)域。ACL 2017 除了主要會(huì)議之外，還如同其他頂級(jí)會(huì)議一樣包含研討會(huì)、專(zhuān)題報(bào)告、研習(xí)會(huì)和演示等。

在這篇文章中，我們首先梳理了國(guó)內(nèi)的 ACL 2017 論文，包括國(guó)內(nèi)的 5 篇 Outstanding Papers，來(lái)自騰訊、微軟亞研、科大訊飛、搜狗等產(chǎn)業(yè)界的數(shù)篇論文，然后介紹了一個(gè)對(duì) ACL 論文標(biāo)題進(jìn)行可視化的項(xiàng)目，從這個(gè)項(xiàng)目中我們可以看到 ACL 2017 大會(huì)內(nèi)容的一些特點(diǎn)。這是一份不完整的梳理，大部分信息來(lái)自于 4 月份中國(guó)中文信息學(xué)會(huì)青年工作委員會(huì)聯(lián)合騰訊在北京舉辦的「ACL 2017 論文報(bào)告會(huì)」、機(jī)器之心對(duì)這些公司論文接收情況的主動(dòng)了解。

國(guó)內(nèi) 5 篇論文入選 ACL 2017 Outstanding Papers

6 月份，ACL 2017 官網(wǎng)發(fā)布 ACL 2017 杰出論文列表，列表中共有 22 篇論文入選，其中國(guó)內(nèi)論文有 5 篇（全部來(lái)自學(xué)界）。5 篇論文分別為：

• Adversarial Multi-Criteria Learning for Chinese Word Segmentation

• 論文作者：陳新馳、施展、邱錫鵬、黃萱菁（復(fù)旦大學(xué)）

• 論文地址：

• Visualizing and Understanding Neural Machine Translation

• 論文作者：丁延卓、劉洋、欒煥博、孫茂松（清華大學(xué)）

• 論文地址：

• Abstractive Document Summarization with a Graph-Based Attentional Neural Model

• 論文作者： 譚繼偉、萬(wàn)小軍（北京大學(xué)）

• Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

• 論文作者：鄭孫聰、Feng Wang、Hongyun Bao（中科院自動(dòng)化研究所）

• 論文地址：

• A Two-stage Parsing Method for Text-level Discourse Analysis

• 論文作者：王義中、李素建、Houfeng Wang（北京大學(xué)）

• 論文地址：

當(dāng)時(shí)，機(jī)器之心對(duì)國(guó)內(nèi)的 5 篇杰出論文進(jìn)行了報(bào)道，詳細(xì)信息請(qǐng)查看：ACL 2017 杰出論文公布，國(guó)內(nèi)四篇論文入選（當(dāng)時(shí)因有一篇論文未公開(kāi)，無(wú)法確定機(jī)構(gòu)，漏算一篇）。

來(lái)自國(guó)內(nèi)產(chǎn)業(yè)界的論文

在這部分內(nèi)容中，機(jī)器之心整理了國(guó)內(nèi)幾家公司被 ACL 2017 接收的論文，其中包括微軟亞洲研究院、騰訊 AI Lab、阿里巴巴、科大訊飛、搜狗。需要區(qū)分的是，這些公司被接收的論文中，有的是與國(guó)內(nèi)大學(xué)一起完成的，因此與學(xué)界被接收的論文有交叉。

騰訊 AI Lab

在 2017 谷歌學(xué)術(shù)指標(biāo)（Google Scholar）按論文引用率排名中，ACL 是計(jì)算機(jī)語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域最高級(jí)別國(guó)際學(xué)術(shù)年會(huì)。騰訊 AI Lab 副主任俞棟認(rèn)為，「自然語(yǔ)言的理解、表達(dá)、生成和轉(zhuǎn)換一直是自然語(yǔ)言處理的核心問(wèn)題。近年來(lái)有很多新的解決思路和方法。今年的 ACL 涉及自然語(yǔ)言處理的各方面，尤其在語(yǔ)義解析、語(yǔ)義角色標(biāo)注、基于語(yǔ)義和語(yǔ)法的自然語(yǔ)言生成、機(jī)器翻譯和問(wèn)答系統(tǒng)方向上都有一些有趣的工作?！?/p>

據(jù)機(jī)器之心了解，今年騰訊 AI Lab 有三篇文章入選 ACL，分別為：

• 論文一：Modeling Source Syntax for Neural Machine Translation

• 作者：Junhui Li、Deyi Xiong、Zhaopeng Tu、Muhua Zhu、Min Zhang 和 Guodong Zhou

• 論文地址：

簡(jiǎn)介：本文提出將句法樹(shù)轉(zhuǎn)化為句法標(biāo)簽序列的輕量級(jí)方法，有效將源端句法信息引入神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)，被證實(shí)能顯著提高翻譯效果。

• 論文二：Chunk-Based Bi-Scale Decoder for Neural Machine Translation

• 作者：Hao Zhou、Zhaopeng Tu、Shujian Huang、Xiaohua Liu、Hang Li 和 Jiajun Chen

• 論文地址：

簡(jiǎn)介：本文引入一個(gè)額外組塊神經(jīng)網(wǎng)絡(luò)層，從組塊到詞的層次生成譯文，幫助實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)翻譯系統(tǒng)短語(yǔ)級(jí)別的建模，實(shí)驗(yàn)表明該方法在多種語(yǔ)言上都能顯著提高翻譯效果。

• 論文三：Deep Pyramid Convolutional Neural Networks for Text Categorization

• 作者：Rie Johnson 和 Tong Zhang

• 論文地址：

簡(jiǎn)介：文章提出了一種能有效表達(dá)文本長(zhǎng)距離關(guān)系的復(fù)雜度詞粒度 CNN。本文研究了如何加深詞粒度 CNN 對(duì)文本進(jìn)行全局表達(dá)，并找到了一種簡(jiǎn)單網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)增加網(wǎng)絡(luò)深度提升準(zhǔn)確度，但不過(guò)多增加計(jì)算量。實(shí)驗(yàn)表明 15 層的 DPCNN 在六個(gè)情感和主題分類(lèi)任務(wù)上達(dá)到了目前最佳結(jié)果。

微軟亞洲研究院

據(jù)機(jī)器之心了解，本屆 ACL 大會(huì)微軟亞洲研究院共有 6 篇長(zhǎng)文被接收，還有一篇題為「SuperAgent: A Customer Service Chatbot for E-commerce Websites」的 demo 文章發(fā)表。在上周微軟亞洲研究院舉辦的「ACL 2017 論文研討會(huì)」上，已被 ACL2017 大會(huì)錄用論文的作者分別就各自的論文內(nèi)容進(jìn)行了分享。這六篇長(zhǎng)文分別為：

• 論文一：Chunk-based Decoder for Neural Machine Translation

• 作者：Shonosuke Ishiwatari, Jingtao Yao, Shujie Liu, Mu Li, Ming Zhou, Naoki Yoshinaga, Masaru Kitsuregawa, Weijia Jia

簡(jiǎn)介：在機(jī)器翻譯中使用組塊信息能夠更容易的對(duì)組塊內(nèi)的詞語(yǔ)和組塊與組塊之間的關(guān)系進(jìn)行建模，因此在統(tǒng)計(jì)機(jī)器翻譯中得到了廣泛的使用。該論文的科研人員將組塊的信息應(yīng)用到神經(jīng)機(jī)器翻譯中，從而更容易的解決了遠(yuǎn)距離的依賴問(wèn)題。他們提出的基于組塊的神經(jīng)機(jī)器翻譯模型，包含了一個(gè)組塊級(jí)別的解碼器和詞級(jí)別的解碼器。組塊級(jí)別的解碼器負(fù)責(zé)對(duì)全局（組塊間）的依賴進(jìn)行建模，而詞級(jí)別的解碼器則對(duì)局部（組塊內(nèi)）的依賴進(jìn)行建模。在英日翻譯任務(wù)（WAT』16）上的實(shí)驗(yàn)顯示，基于組塊的神經(jīng)機(jī)器翻譯解碼算法能夠顯著的提高翻譯性能。

• 論文二：Sequence-to-Dependency Neural Machine Translation

• 作者：Shuangzhi Wu, Dongdong Zhang, Nan Yang, Mu Li,Ming Zhou

簡(jiǎn)介：現(xiàn)有的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯系統(tǒng)大多以序列的形式生成目標(biāo)語(yǔ)言，忽略了目標(biāo)語(yǔ)言的句法知識(shí)。通常來(lái)說(shuō)，句法知識(shí)對(duì)句子的構(gòu)成有重要的指導(dǎo)作用。受目標(biāo)語(yǔ)言句法知識(shí)在短語(yǔ)翻譯模型中成功應(yīng)用的啟發(fā)，本文提出了一種序列到依存的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型。該模型能夠在翻譯源語(yǔ)言的同時(shí)生成目標(biāo)語(yǔ)言的依存句法結(jié)構(gòu)，進(jìn)一步利用已有的句法結(jié)構(gòu)指導(dǎo)后續(xù)翻譯的生成，從而做到翻譯的同時(shí)兼顧語(yǔ)法結(jié)構(gòu)。實(shí)驗(yàn)表明本文提出的方法的性能在中英翻譯和日英翻譯任務(wù)上都高于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯。

• 論文三：Active Sentiment Domain Adaptation

• 作者：Fangzhao Wu, Yongfeng Huang, Jun Yan

簡(jiǎn)介：情感分類(lèi)是一個(gè)領(lǐng)域依賴的任務(wù)。不同的領(lǐng)域擁有不同的情感表達(dá)，因此一個(gè)領(lǐng)域訓(xùn)練得到的情感分類(lèi)器在另一個(gè)領(lǐng)域往往效果不佳。由于網(wǎng)絡(luò)文本涉及大量的領(lǐng)域，因此很難為每一個(gè)領(lǐng)域去標(biāo)注足夠多的樣本來(lái)訓(xùn)練領(lǐng)域特定情感分類(lèi)器。為此，該論文的研究人員提出了一個(gè)主動(dòng)情感領(lǐng)域遷移的方法來(lái)解決該問(wèn)題。他們的方法嘗試基于主動(dòng)學(xué)習(xí)策略選取少量有信息量的目標(biāo)領(lǐng)域的有標(biāo)注樣本，從目標(biāo)領(lǐng)域大量的無(wú)標(biāo)注樣本中挖掘詞語(yǔ)間的領(lǐng)域特定情感關(guān)系，并通過(guò)結(jié)合以上兩種信息將情感詞典中的通用情感信息遷移到目標(biāo)領(lǐng)域。在基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法能夠在少量有標(biāo)注樣本的情況下為目標(biāo)領(lǐng)域訓(xùn)練準(zhǔn)確的情感分類(lèi)器。

• 論文四：Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots

• 作者：Yu Wu, Wei Wu, Chen Xing, Ming Zhou, Zhoujun Li

• 鏈接：

簡(jiǎn)介：聊天機(jī)器人的一個(gè)很重要的問(wèn)題是如何在選擇回復(fù)的時(shí)候考慮上下文。聊天上下文往往呈現(xiàn)層次結(jié)構(gòu)并且有很多冗余信息，因此如何同時(shí)對(duì)聊天上下文的結(jié)構(gòu)建模并且準(zhǔn)確把握上下文中的要點(diǎn)成為了能否找到合適回復(fù)的關(guān)鍵。在這篇文章中，研究員們提出了一個(gè)序列匹配網(wǎng)。該網(wǎng)絡(luò)通過(guò)二維卷積神經(jīng)網(wǎng)和循環(huán)神經(jīng)網(wǎng)的耦合可以很好地對(duì)上下文建模并且抓住上下文中的關(guān)鍵點(diǎn)。在大規(guī)模標(biāo)準(zhǔn)數(shù)據(jù)集上，該模型對(duì)已有模型有非常大的提升，并且有很好的解釋性。另外，為了彌補(bǔ)學(xué)術(shù)界大規(guī)模標(biāo)注數(shù)據(jù)的缺失，該文章還貢獻(xiàn)出了一個(gè)標(biāo)注數(shù)據(jù)集。

• 論文五：Selective Encoding for Abstractive Sentence Summarization

• 作者：Qingyu Zhou, Nan Yang, Furu Wei, Ming Zhou

簡(jiǎn)介：句子摘要任務(wù)的目標(biāo)是產(chǎn)生一個(gè)句子的簡(jiǎn)短概括。該論文的研究人員提出了選擇性編碼模型以改善生成式句子摘要的性能。他們的模型包含了一個(gè)句子編碼器、選擇門(mén)網(wǎng)絡(luò)和帶注意力機(jī)制的解碼器。其中，句子編碼器和解碼器采用了循環(huán)神經(jīng)網(wǎng)絡(luò)。選擇門(mén)網(wǎng)絡(luò)通過(guò)控制從編碼器到解碼器的信息流來(lái)構(gòu)建額外的一層信息表示，該層表示為句子摘要構(gòu)建了量身定做的語(yǔ)義表示。研究人員在英文 Gigaword、DUC 2004 和 MSR 三個(gè)生成式句子摘要數(shù)據(jù)集上進(jìn)行了測(cè)試。實(shí)驗(yàn)結(jié)果表明本文提出的選擇性編碼模型性能比當(dāng)前最優(yōu)基線模型有顯著提高。

• 論文六：Gated Self-Matching Networks for Reading Comprehension and Question Answering

• 作者：Wenhui Wang, Nan Yang, Furu Wei, Baobao Chang,Ming Zhou

• 鏈接：

簡(jiǎn)介：本文提出了一種針對(duì)機(jī)器閱讀理解和問(wèn)答任務(wù)的端到端的多層神經(jīng)網(wǎng)絡(luò)，模型主要由四部分組成。首先通過(guò)多層的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)得到問(wèn)題和篇章的語(yǔ)義向量表示。第二步通過(guò) Attention 機(jī)制和 Gate 機(jī)制學(xué)習(xí)文章和問(wèn)題詞匯級(jí)的匹配，從而得到篇章中每個(gè)詞和問(wèn)題的對(duì)齊及其重要程度。第三步通過(guò) Self-Matching 機(jī)制，對(duì)答案所需要的篇章中的證據(jù)和問(wèn)題信息進(jìn)行進(jìn)一步聚合，得到最終的篇章中每個(gè)詞的語(yǔ)義向量表示。最后使用 Pointer Networks 得到答案在篇章中的起始位置和結(jié)束位置，進(jìn)而得到問(wèn)題的最終答案。在 Stanford 發(fā)布的機(jī)器閱讀理解比賽數(shù)據(jù)集 SQuAD 上，本文提出的模型（R-Net）的單模型和集成模型結(jié)果都分別排名第一。

科大訊飛

據(jù)機(jī)器之心了解，科大訊飛有兩篇論文被 ACL 2017 所接收，并且這兩篇論文都是科大訊飛與哈工大社會(huì)計(jì)算與信息檢索研究中心（HIT-SCIR）合作完成。

• 論文一：Generating and Exploiting Large-scale Pseudo Training Data for Zero Pronoun Resolution

• 作者：Ting Liu、Yiming Cui、Qingyu Yin、Weinan Zhang、Shijin Wang 和 Guoping Hu

• 論文地址：

簡(jiǎn)介：為了緩解零代詞解析（Zero Pronoun Resolution）任務(wù)所需要的大量標(biāo)注數(shù)據(jù)，本論文提出了一種簡(jiǎn)單但新穎的方法來(lái)自動(dòng)生成大規(guī)模偽訓(xùn)練數(shù)據(jù)，因此我們可以借助這些數(shù)據(jù)進(jìn)行零代詞解析任務(wù)。

• 論文二：Attention-over-Attention Neural Networks for Reading Comprehension

• 作者：Yiming Cui、Zhipeng Chen、Si Wei?、Shijin Wang、Ting Liu 和 Guoping Hu

• 論文地址：

簡(jiǎn)介：本論文提出一種簡(jiǎn)單但新穎的 Attention-over-Attention 閱讀器模型，該模型能很好地解決完形填空式閱讀理解任務(wù)。該模型旨在將一個(gè)注意力機(jī)制放在文檔級(jí)注意力上以形成「attended attention」來(lái)預(yù)測(cè)最后的回答。

阿里巴巴

2015 年 7 月 24 日，阿里巴巴發(fā)布了一款人工智能購(gòu)物助理虛擬機(jī)器人「阿里小蜜」，它是阿里巴巴推出的圍繞電商服務(wù)、導(dǎo)購(gòu)以及任務(wù)助理為核心的智能人機(jī)交互產(chǎn)品。今年，一篇介紹阿里小蜜背后技術(shù)的論文《AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine》被 ACL 2017 所接收。

• 論文：AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine

• 作者：Minghui Qiu、Feng-Lin Li、Siyu Wang、Xing Gao、Yan Chen、Weipeng Zhao、陳海青、Jun Huang、Wei Chu

• 論文地址：

簡(jiǎn)介：面向 open domain 的聊天機(jī)器人無(wú)論在學(xué)術(shù)界還是工業(yè)界都是個(gè)有挑戰(zhàn)的課題。通常有兩種技術(shù)方案，一個(gè)是通過(guò)傳統(tǒng)的檢索模型 (IR) 來(lái)構(gòu)建語(yǔ)聊的問(wèn)答匹配，另外一個(gè)是通過(guò)生成模型 (Seq2Seq) 自動(dòng)生成回復(fù)。前者回復(fù)答案可控但無(wú)法處理長(zhǎng)尾問(wèn)題，后者很難保持一致性和合理性。因此在阿里小蜜的聊天引擎中，我們結(jié)合了兩者各自的優(yōu)點(diǎn)，提出了一個(gè)融合模型。我們的模型先通過(guò) IR 產(chǎn)出候選回復(fù)，然后用 Seq2Seq 對(duì)候選進(jìn)行打分和重排序，如果重排序后得分超過(guò)一定閾值就輸出，否則就用 Seq2Seq 生成答案。實(shí)驗(yàn)證明，我們的融合模型比單純的生成模型和 IR 模型結(jié)果都好，比之前線上系統(tǒng)提升了 17%。

圖注：阿里小蜜對(duì)話示例

搜狗

據(jù)機(jī)器之心了解，搜狗聯(lián)合清華信息科學(xué)與技術(shù)國(guó)家實(shí)驗(yàn)室有一篇論文入選 ACL 2017。

• 論文：Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization

• 作者：Jiacheng Zhang、Yang Liu、 Huanbo Luan、Jingfang Xu 和 Maosong Sun

• 論文地址：

簡(jiǎn)介：本論文提出了使用后驗(yàn)正則化將先驗(yàn)知識(shí)集成到神經(jīng)機(jī)器翻譯中的一般框架，該方法將先驗(yàn)知識(shí)表征為對(duì)數(shù)線性模型中的特征，并用來(lái)指導(dǎo)神經(jīng)機(jī)器翻譯的學(xué)習(xí)過(guò)程。

ACL 2017 論文標(biāo)題可視化

今年 4 月份，ACL 2017 接收論文公布，其中包含生物醫(yī)學(xué)、認(rèn)知建模與心理語(yǔ)言學(xué)、交互式對(duì)話系統(tǒng)、機(jī)器翻譯等各研究領(lǐng)域的 194 篇長(zhǎng)篇論文、107 篇短篇論文、21 個(gè)軟件演示以及 21 篇在由 TACL（Transactions of the Association for Computational Linguistics）接收出版并將在 ACL 2017 上進(jìn)行主題演講報(bào)告的論文。

在機(jī)器之心的報(bào)道中，有一個(gè)可視化項(xiàng)目對(duì)所接收論文的標(biāo)題進(jìn)行了可視化，得出了幾個(gè)結(jié)論：

1. 首先如下圖所示，我們可以了解短篇論文和長(zhǎng)篇論文標(biāo)題的不同之處。端到端建模、聯(lián)合建模、對(duì)抗性學(xué)習(xí)和閱讀理解在長(zhǎng)篇論文標(biāo)題中較為普遍。案例研究、社交媒體和多語(yǔ)言分析在短篇論文中更為流行。學(xué)習(xí)、神經(jīng)和翻譯在兩組論文中都很常見(jiàn)。

2. 下圖展示了 TACL 與長(zhǎng)篇論文的區(qū)別。有趣的是沒(méi)有 TACL 使用「網(wǎng)絡(luò)」這一單詞，但長(zhǎng)篇論文很多都使用了。

3. 下面幾張可視化圖表展示了 ACL 2017 接收論文的一些描述性統(tǒng)計(jì)學(xué)數(shù)據(jù)，并能了解論文類(lèi)別的變化。其中我們可以發(fā)現(xiàn)絕大多數(shù)論文都是長(zhǎng)篇論文。機(jī)器翻譯、語(yǔ)義學(xué)和總結(jié)性的更多是長(zhǎng)篇論文，而機(jī)器學(xué)習(xí)、社交媒體和多學(xué)科論文更多是短篇論文。