小螞蟻說。

AAAI，英文全稱是人工智能進步協(xié)會，是人工智能領(lǐng)域的主要學術(shù)組織之一，其年會(AAAI，全國人工智能會議)也是世界上人工智能領(lǐng)域的頂級學術(shù)會議之一。

AAAI成立于1979年，在全球擁有4000多名會員。計算機科學領(lǐng)域的許多名人都曾擔任過該組織的主席，包括艾倫·紐厄爾、愛德華·費根鮑姆、馬文·明斯基和約翰·麥卡錫。

在本文中，螞蟻金服技術(shù)團隊在參加了今年2月在美國新奧爾良舉行的人工智能高層會議“AAAI 2018”后寫了一篇深度分享。在本文中，您可以看到本次會議各種優(yōu)秀論文的解讀，以及螞蟻金服在AAAI的論文成果。

一.概述

今年AAAI共收到提交的3808篇論文，其中938篇被錄用，比去年增加了47%。

從貢獻國來看，中國的貢獻量已經(jīng)位居世界第一，就業(yè)量略低于美國。

那么，在AI的所有領(lǐng)域中，哪些研究方向更受關(guān)注呢？

可以看出，由于不同子領(lǐng)域都有論文，機器學習方法的貢獻和就業(yè)數(shù)量最高。在所有子領(lǐng)域中，形象的貢獻和就業(yè)排名第一，與去年相比，貢獻和就業(yè)人數(shù)分別增長了257%和285%。

大家關(guān)注的另一個問題是:哪種軌跡紙更容易被接受？上圖清楚地表明，AAAI近年來鼓勵張文提交具有計算可持續(xù)性、不確定性推理和認知建模的文件，其就業(yè)率也很高。相反，AI算法應(yīng)用、機器學習應(yīng)用等應(yīng)用的就業(yè)率相對較低。

本次會議的最佳論文提交給了艾伯塔大學的“記憶增強蒙特卡羅樹搜索”。

https://web docs . cs . ualberta . ca/~ mmuler/PS/2018/Chenjun-Xiao-M-MCTS-aaai18-final . pdf

最佳學生論文提交給牛津大學的“反事實多主體政策等級”。

https://arxiv.org/abs/1705.08926

2018年AAAI經(jīng)典論文獎(經(jīng)過10年考察的成果)授予了2000年在美國得克薩斯州奧斯汀舉行的第17屆AAAI會議上最具影響力的論文:“PROMPT:用于自動本體合并和對齊的算法和工具”。

二、注重論文解讀

接下來，我們介紹一些與各自領(lǐng)域相關(guān)的論文。有關(guān)更詳細的分類和論文列表，請參見所附論文:圖甘:利用生成對手網(wǎng)絡(luò)進行圖表示學習

近年來，關(guān)于網(wǎng)絡(luò)表征學習(NRL)/網(wǎng)絡(luò)嵌入(NE)的研究逐漸興起，這里可以參考更多的文章:

https://github.com/thunlp/nrlpapers

這篇發(fā)表在《AAAI 2018》上的論文介紹了生成對抗網(wǎng)絡(luò)(GAN)的框架，它將GAN和Graphlearning結(jié)合起來。關(guān)于這方面的調(diào)查，請參閱本文:

《圖形嵌入綜述:問題、技術(shù)和應(yīng)用》

這兩個熱點利用發(fā)生器和鑒別器的對抗訓練來學習網(wǎng)絡(luò)特征，試圖提高效果。

GraphGAN試圖學習兩個模型:(1)生成模型G(V|Vc)試圖逼近一個真概率分布:p真(V | VC)；(2)決策模型D(V|Vc)，其目標是決定Vc和V之間是否存在邊，利用經(jīng)典的min-maxgame運算，在每次迭代中，從Ptrue中抽取一些與Vc相鄰的實點作為樣本，然后從g中產(chǎn)生一些與Vc相連的其他點，利用樣本中產(chǎn)生的點作為正樣本，g中產(chǎn)生的點作為負樣本訓練D，然后利用D中的信號依次訓練g。重復(fù)這個過程，直到發(fā)電機g和Ptrue非常接近。為了克服softmax和分層softmax的缺陷，提出了一種Graph Softmax作為g的實現(xiàn)方法，并在5個公共數(shù)據(jù)集上進行了測試，證明了GraphGAN的效果。

論文:harp:面向網(wǎng)絡(luò)的分層表示學習

Google在2013年發(fā)布了word2vec，引起了學術(shù)界和工業(yè)界的極大關(guān)注。該方法通過無監(jiān)督學習將單詞映射到低維連續(xù)向量，稱為“單詞向量”。詞向量整合了詞的語義信息，作為輸入。自然語言處理的許多領(lǐng)域都產(chǎn)生了非常好的結(jié)果。在圖計算領(lǐng)域，能否將圖上的一個節(jié)點映射到一個低維向量空，圖節(jié)點向量能夠代表整個網(wǎng)絡(luò)中節(jié)點的拓撲特征？

2014年，SGIKDD的一篇論文首次提出了一種解決方案，算法叫做deepwalk。在隨后的幾年里，NRL(網(wǎng)絡(luò)表征學習)逐漸成為一個熱門的研究方向，這個NRL的張文也來自《深度漫步》的作者布萊恩·佩羅齊的實驗室。

傳統(tǒng)算法都是“一次性”學習節(jié)點向量表示。與以往的工作不同，本文的核心思想是“分層”學習節(jié)點向量表示。首先，作者發(fā)現(xiàn)兩個問題:

1.deepwalk、LINE、node2vec算法未能充分利用節(jié)點的高階跳變信息

2.這些算法都是隨機初始化的，沒有找到好的初始化值。

基于這兩個發(fā)現(xiàn)，作者提出了分層學習的方法。首先將相似節(jié)點折疊得到一個更小的圖，然后從這個更小的圖中學習節(jié)點的向量表示，然后將向量表示作為原始圖的初始值，學習原始圖上節(jié)點的向量表示。如果你連續(xù)折疊幾次，然后從最折疊的圖上一步一步地學習節(jié)點向量表示，再學習下一個較大圖上的節(jié)點向量表示作為初始值，就構(gòu)成了一種分層學習方法。

關(guān)于折疊模式，本文還列舉了兩種情況，一種叫做“邊折疊”，另一種叫做“星折疊”，分別對應(yīng)圖上兩種不同的節(jié)點連接模式。對于不同的倒塌模式，作者給出了具體的方法。

在與作者的對話中，發(fā)現(xiàn)HARP也為解決超大規(guī)模圖的節(jié)點向量表示學習問題提供了一種新的途徑，即當節(jié)點多且稀疏時，可以將其折疊，然后將折疊圖上的節(jié)點向量表示直接作為原圖的節(jié)點近似向量表示。當然，這種近似方法雖然提供了高效的計算，但也會帶來一定的誤差，實際效果有待研究。

HARP算法的流程如下:

其中，折疊函數(shù)的算法如下:

HARP的思路在三個算法上進行了改進:deepwalk，LINE，node2vec。作者分別在DBLP、布洛卡塔洛格和賽爾號上進行了實驗。

在多標簽分類實驗中，可以看出哈珀對不同數(shù)據(jù)集有一致的改進。圖中的橫軸是訓練集占總標記數(shù)據(jù)的百分比。另外，標注的訓練數(shù)據(jù)越多，所有算法的準確率越高。同時，在不同百分比的訓練數(shù)據(jù)下，HARP也有一致的提高。目前，該論文可從arxiv下載:

https://arxiv.org/pdf/1706.07845.pdf

論文:個性化隱私保護社交推薦

隱私數(shù)據(jù)泄露是社交推薦中常見的問題，即用戶的個人隱私數(shù)據(jù)被鄰居或社交網(wǎng)絡(luò)中的推薦平臺獲取，導(dǎo)致泄露。為了解決這個問題，本文提出了一種在社交網(wǎng)絡(luò)場景中保護用戶隱私數(shù)據(jù)的推薦方法，即隱私保護。

隱私數(shù)據(jù)泄露問題如圖。在這個推薦的例子中，共有4個用戶和6個項目。U1，u2，u4，U4是正常用戶，u3是壞用戶。用戶u1共評價了4項，其中R11和R13為敏感數(shù)據(jù)，即用戶u1不希望其他用戶和推薦平臺知道，R12和R14為可以公開的數(shù)據(jù)。社交推薦場景中的一個假設(shè)是，好友有相似的偏好，所以當用戶u1發(fā)布非敏感數(shù)據(jù)(R12和R14)時，壞用戶(u3)和推薦者可以推出敏感數(shù)據(jù)。

PrivSR的推薦框架如圖2所示。該方法是一種半分散的推薦方法，這意味著推薦平臺只能獲取用戶的一些不敏感數(shù)據(jù)，而用戶保留他們的敏感數(shù)據(jù)。

圖中正確的模型有以下含義:

左上:用戶隱私和公共數(shù)據(jù)，兩者分別有噪聲

右上角:用戶u1可以訪問的資源包括自己的分數(shù)、所有用戶的不敏感數(shù)據(jù)、自己的好友集、所有項目的潛在向量、自己的用戶潛在向量。

左下角:推薦者可以訪問的資源，包括所有用戶的非敏感數(shù)據(jù)和所有項目的潛在向量

右下:社會關(guān)系，這增加了關(guān)系強度的噪音，因為社會關(guān)系限制了朋友擁有相似的潛在載體

基于以上，可以獲得以下目標函數(shù):

第一行是敏感數(shù)據(jù)的誤差優(yōu)化，敏感數(shù)據(jù)的噪聲，強度為x；

第二行是不敏感數(shù)據(jù)的誤差優(yōu)化和不敏感數(shù)據(jù)的噪聲疊加，強度為y，其中不敏感數(shù)據(jù)的噪聲疊加強度小于敏感數(shù)據(jù)的噪聲疊加強度；

第三行是社會關(guān)系的正規(guī)化項，限制了朋友之間的相似偏好，給朋友之間的關(guān)系增加了噪音，強度為q；

第四行是正則化項，防止過度擬合。

同時，論文證明了加噪方法滿足Differential隱私，有興趣的可以查看論文細節(jié)。

本文選取了Ciao和Epinions兩個公共數(shù)據(jù)集，采用MAE作為評價指標。對比結(jié)果如圖3所示，從中可以看出，在數(shù)據(jù)完全開放的情況下，PrivSR比現(xiàn)有的社交推薦方法(Soreg)稍差。但是隨著越來越多的數(shù)據(jù)變成私有數(shù)據(jù)，效果會越來越好，因為PrivSR可以使用這些數(shù)據(jù)。

論文:用于非平衡域適配的深度非對稱傳輸網(wǎng)絡(luò)

遷移學習技術(shù)是近年來流行的。主要思想是利用輔助域的豐富數(shù)據(jù)，幫助解決目標域數(shù)據(jù)稀缺導(dǎo)致的性能差的問題。張文提出的遷移學習方法主要是為了解決遷移學習中輔助領(lǐng)域和目標領(lǐng)域的標簽數(shù)據(jù)匱乏的問題，即半監(jiān)督學習問題。為此，張文首先提出了半監(jiān)督深度學習模型，如圖:

無監(jiān)督部分使用自動編碼器，損失函數(shù)為:

監(jiān)督部分使用soft-max作為告別，損失函數(shù)為:

結(jié)合無監(jiān)督和有監(jiān)督損失函數(shù)，對于單個目標域或輔助域，整個損失函數(shù)為:

使用上述單個領(lǐng)域的訓練結(jié)果作為以下遷移學習模型的初始化。遷移學習模型如下圖所示:

遷移學習模型主要在監(jiān)督和非監(jiān)督兩個方面進行優(yōu)化。

首先，對于監(jiān)管部分，本文使用了兩個約束條件。第一部分是學習輔助域和目標域的線性變換G，即:

第二部分是利用這種變換將目標數(shù)據(jù)轉(zhuǎn)化為輔助領(lǐng)域數(shù)據(jù)，然后利用它優(yōu)化目標領(lǐng)域的分類結(jié)果，即，

文章聲稱這樣做的目的是為了加強輔助域中豐富數(shù)據(jù)的使用，同時防止輔助域中無用數(shù)據(jù)的移入。

其次，對于無監(jiān)督部分，本文使用最大平均差異(MMD)來約束輔助域和目標域的分布相似，即:

結(jié)合有監(jiān)督和無監(jiān)督部分，可以得到整個轉(zhuǎn)移學習算法的目標函數(shù):

本文采用塊坐標下降法對模型進行優(yōu)化，并在兩個公共數(shù)據(jù)集上進行了豐富的實驗。

受邀演講:黛安概率機器學習

劍橋大學信息工程教授、優(yōu)步首席科學家鄒斌·格拉馬尼回顧了深度學習的發(fā)展歷史和概率人工智能領(lǐng)域的基礎(chǔ)，并介紹了當前深度學習的一些局限性:

以及為什么有必要將概率引入深度學習模型:

然后介紹貝葉斯深度學習和概率建模的基本原理，解決深度學習中的不確定性:

他概述了貝葉斯深度學習的研究現(xiàn)狀:

同時，他指出了概率模型預(yù)測過程中的一些主要問題，包括耗時和容易出錯，這些問題可以通過實現(xiàn)一種概率編程語言來解決:

同時還介紹了優(yōu)步目前名為Pyro的深度概率建?？蚣?

最后，更有意思的是，他給出了自己對未來深度學習的幾個研究趨勢的理解，其中自動機器學習是一個很有前途的。

三、螞蟻金服AAAI 2018

今年，螞蟻金服在AAAI 2018被錄用。文章作者田吉和邢智在現(xiàn)場分享了這篇文章，引起了學者和觀眾的極大興趣。

cw2vec:用Stroken-grams學習中文單詞嵌入

這是AAAI今年聘請的螞蟻金融人工智能系的一篇論文。為了解決無監(jiān)督的中文詞向量生成問題，我們設(shè)計了一種新的算法:cw2vec。該算法充分利用了漢語的語言特點，使機器理解了漢字之間的奧秘。在公共數(shù)據(jù)集上的準確性超過了谷歌的word2vec、斯坦福的手套、清華的CWE和其他業(yè)內(nèi)最好的算法。

cw2vec作為基礎(chǔ)研究成果，也登陸了螞蟻和阿里的很多場景。在智能客服、文本風險控制、推薦等實際場景中發(fā)揮了作用。此外，不僅中文詞向量，其他語言如日語、韓語也做了類似的嘗試，相關(guān)發(fā)明和技術(shù)申請了近20項專利。

下圖為作者田吉介紹cw2vec模型:

論文:“使用分散矩陣分解的隱私保護興趣點推薦”

現(xiàn)有的興趣點推薦系統(tǒng)都是集中式的訓練方法，也就是說傳統(tǒng)的矩陣分解技術(shù)，首先構(gòu)建推薦系統(tǒng)的人(或平臺)要獲取用戶行為的數(shù)據(jù)(如購買、點擊、評分等)。)，然后利用這些數(shù)據(jù)構(gòu)建矩陣分解推薦系統(tǒng)。這樣做有兩個缺點:

(1)存儲計算資源的消耗。一方面，用戶對商品的所有行為歷史數(shù)據(jù)都必須集中存儲在某個服務(wù)器上，浪費了存儲資源。另一方面，訓練矩陣分解模型時，需要在服務(wù)器機器上訓練，模型的訓練速度受到服務(wù)器機器數(shù)量的限制，浪費計算資源；

(2)用戶隱私數(shù)據(jù)無法保護。因為用戶對物品的行為歷史已經(jīng)被服務(wù)器獲取，假設(shè)服務(wù)器不會主動泄露用戶隱私，也有會被黑客攻擊的事情，會導(dǎo)致用戶隱私泄露。

為了解決這兩個問題，我們提出了一種用戶隱私保護的分散矩陣分解方法，如圖1右側(cè)所示。簡單來說，用戶的數(shù)據(jù)存在于自己的設(shè)備上，如手機、PADs等，不上傳到服務(wù)器，解決了集中訓練造成的存儲資源浪費。另一方面，模型的訓練也在用戶端完成，模型的協(xié)同訓練是通過用戶之間交換非原始數(shù)據(jù)信息來完成的。這種分散訓練方法可以看作是一種分布式算法，每個用戶都是一個計算節(jié)點，因為它可以解決集中訓練造成的計算資源浪費。

下圖是作者邢志在AAAI會議上的介紹:

四.總結(jié)

通過參加會議，我們獲得了更多業(yè)界最新的算法和經(jīng)驗。接下來，我們希望能夠把這次會議的一些好想法放到阿里和螞蟻的場景中，我們也希望未來在AAAI這樣的人工智能峰會上展示更多中國的創(chuàng)新。

—結(jié)束—

螞蟻金服科技，只是分享干貨，您的轉(zhuǎn)發(fā)是對我們最大的支持

歡迎在文末留言與我們交流~