由新智元編輯

翻譯:劉小芹

【倒計時9天，點擊“閱讀原文”搶票】中國AI 2017開幕式在即，三大亮點不容錯過:1兩會將匯聚BAT人工智能技術(shù)領(lǐng)軍人物，洞察中國AI軍團布局；2引爆AI力量，現(xiàn)場參加AI技術(shù)論壇；③人工智能創(chuàng)業(yè)者是輝煌的明星，看著投資領(lǐng)袖預測誰會成為中國AI獨角獸。

【新智元指南】Google今天開啟了一個新的句子編碼器模型Skip-things，在TensorFlow上實現(xiàn)，學習將輸入句子編碼成固定維度的向量表示，可用于語義關(guān)聯(lián)、釋義檢測、句子情感分類等任務。

跳躍式思維模式概述

跳躍思維模型是一個句子編碼器。它學習將輸入句子編碼成固定維度的向量表示，這對于許多任務都很有用，例如檢測定義或?qū)Ξa(chǎn)品評論進行正面或負面分類。關(guān)于模型架構(gòu)和更多示例應用的更多細節(jié)，請參考瑞安·基洛斯等人的NIPS論文《跳過思維向量》。

經(jīng)過訓練的跳躍思維模型將在嵌入向量空中編碼彼此相鄰的相似句子。以下示例顯示了電影評論數(shù)據(jù)集中某些句子的余弦相似度的最近鄰域。

跳過思維模型是NIPS 2015論文跳過思維向量中描述的模型的TensorFlow實現(xiàn)，學習對句子的語義屬性進行編碼。

引文:Ryan Kiros，Yukunzhu，Ruslan Salakhutdinov，Richard S. Zemel，Antonio Toralba，Raquel Urtasun，Sanja Fidler。跳過思維向量。Innips，2015。

下載地址:https://papers.nips.cc/paper/5950-skip-thought-vectors.pdf

摘要:

我們描述了一種用于通用和分布式句子編碼器的無監(jiān)督學習方法。使用從書中提取的連續(xù)文本，我們訓練了一個編碼器-解碼器模型，試圖圍繞編碼段落重建句子。因此，語義和語法屬性一致的句子被映射到相似的向量表示。然后，我們引入一種簡單的詞匯擴展方法，對訓練不再期望的單詞進行編碼，使詞匯量可以擴展到一百萬個單詞。在對模型進行訓練后，我們使用線性模型提取和評估我們在八個任務上的向量，包括語義相關(guān)性、解釋檢測、圖像句子排序、問題類型分類和四個基準情感和主觀數(shù)據(jù)集。最終的結(jié)果是非專門設計的編碼器，可以生成高度通用的句子表示，在實踐中表現(xiàn)良好。

代碼句子示例

這個例子的句子來自電影評論數(shù)據(jù)。

輸出:

Github開源內(nèi)容:

初級課程

安裝所需的軟件包

下載預培訓模型(可選)

培訓模式

準備培訓數(shù)據(jù)

運行培訓腳本

跟蹤培訓進度

擴展詞匯

總結(jié)

準備

運行詞匯擴展腳本

評價模型

總結(jié)

準備

運行評估任務

編碼句子

開源地址:https://github.com/tensorflow/models/tree/master/skip _思想

新智元“3·27”AI科技峰會購票二維碼: