大數(shù)據(jù)文摘制作

資料來源：Github

出版者：袁曉碩

上周，另一款A(yù)I偏門app deep nude爆出，一鍵直接脫下女性的衣服，轟動(dòng)全世界。

應(yīng)用也很容易上手，只需要給它一張照片，即可借助神經(jīng)網(wǎng)絡(luò)技術(shù)，自動(dòng)“脫掉”衣服。原理雖然理解門檻高，但是應(yīng)用起來卻毫不費(fèi)力，因?yàn)閷τ谑褂谜邅碚f，無需任何技術(shù)知識，一鍵即可獲取。

據(jù)發(fā)布者表示，研發(fā)團(tuán)隊(duì)是個(gè)很小的團(tuán)隊(duì)，相關(guān)技術(shù)顯然也還很不成熟，多數(shù)照片（尤其是低分辨率照片）經(jīng)過DeepNude處理后，得出的圖像會有人工痕跡；而輸入卡通人物照片，得出的圖像是完全扭曲的，大多數(shù)圖像和低分辨率圖像會產(chǎn)生一些視覺偽像。

當(dāng)然，目標(biāo)“圖片”還是各種女性，較早曝光這一應(yīng)用的科技媒體Motherboard表示，他們通過幾十張的照片測試，發(fā)現(xiàn)如果輸入《體育畫報(bào)泳裝特輯》（Sports Illustrated Swimsuit）的照片，得到的裸體照片最為逼真。

海外媒體Motherboard測試圖片

海外媒體Motherboard測試圖片

這一應(yīng)用瞬間引發(fā)了社區(qū)的各類聲討，表示是對AI利用的反例。

連吳恩達(dá)也出面發(fā)聲，聲討這一項(xiàng)目。

該應(yīng)用在一片討伐聲中很快下線，但是，余震猶存。

尤其是對這一應(yīng)用背后技術(shù)的探討還一直在持續(xù)。

本周，一個(gè)名為“研究DeepNude使用的圖像生成和圖像修復(fù)相關(guān)的技術(shù)和論文“的GitHub升至一周熱榜，獲得了不少星標(biāo)。

項(xiàng)目創(chuàng)始人顯然對于這一項(xiàng)目背后的技術(shù)很有研究，提出了其生成需要的一系列技術(shù)框架，以及哪些技術(shù)可能有更好的實(shí)現(xiàn)效果。文摘菌在此進(jìn)行轉(zhuǎn)載，希望各位極客在滿足技術(shù)好奇心的同時(shí)，也可以正確使用自己手中的技術(shù)力量。

以下為原文內(nèi)容和來源鏈接：

接下來我會開源一些image/text/random-to-image的神經(jīng)網(wǎng)絡(luò)模型，僅供學(xué)習(xí)交流之用，也歡迎分享你的技術(shù)解決方案。

Image-to-Image Demo圖像到圖像demo

DeepNude軟件主要使用Image Inpainting for Irregular Holes Using Partial Convolutions 中提出的Image-to-Image技術(shù)，該技術(shù)有很多其它的應(yīng)用，比如把黑白的簡筆畫轉(zhuǎn)換成色彩豐富的彩圖，你可以點(diǎn)擊下方的鏈接在瀏覽器中嘗試Image-to-Image技術(shù)。

在左側(cè)框中按照自己想象畫一個(gè)簡筆畫的貓，再點(diǎn)擊pix2pix按鈕，就能輸出一個(gè)模型生成的貓。

Deep Computer Vision in DeepNude

Image Inpainting圖像修復(fù)

• 論文NVIDIA 2018 paper Image Inpainting for Irregular Holes Using Partial Convolutions and Partial Convolution based Padding.
• 代碼 Paper code partialconv。

效果

在Image_Inpainting(NVIDIA_2018).mp4視頻中左側(cè)的操作界面，只需用工具將圖像中不需要的內(nèi)容簡單涂抹掉，哪怕形狀很不規(guī)則，NVIDIA的模型能夠?qū)D像“復(fù)原”，用非常逼真的畫面填補(bǔ)被涂抹的空白?？芍^是一鍵P圖，而且“毫無ps痕跡”。該研究來自Nvidia的Guilin Liu等人的團(tuán)隊(duì)，他們發(fā)布了一種可以編輯圖像或重建已損壞圖像的深度學(xué)習(xí)方法，即使圖像穿了個(gè)洞或丟失了像素。這是目前2018 state-of-the-art的方法。

Pix2Pix(need for paired train data)

DeepNude mainly uses this Pix2Pix technology.

• 論文 Berkeley 2017 paper Image-to-Image Translation with Conditional Adversarial Networks.
• 主頁 homepage Image-to-Image Translation with Conditional Adversarial Nets
• 代碼code pix2pix
• Run in Google Colab

Image-to-Image Translation with Conditional Adversarial Networks是伯克利大學(xué)研究提出的使用條件對抗網(wǎng)絡(luò)作為圖像到圖像轉(zhuǎn)換問題的通用解決方案。

CycleGAN(without the need for paired train data)

• 論文：Berkeley 2017 paper Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
• 代碼：code CycleGAN
• Run in Google Colab cyclegan.ipynb

效果

CycleGAN使用循環(huán)一致性損失函數(shù)來實(shí)現(xiàn)訓(xùn)練，而無需配對數(shù)據(jù)。換句話說，它可以從一個(gè)域轉(zhuǎn)換到另一個(gè)域，而無需在源域和目標(biāo)域之間進(jìn)行一對一映射。這開啟了執(zhí)行許多有趣任務(wù)的可能性，例如照片增強(qiáng)，圖像著色，樣式傳輸?shù)取Ｄ恍枰春湍繕?biāo)數(shù)據(jù)集。

未來

可能不需要Image-to-Image。我們可以使用GAN直接從隨機(jī)值生成圖像或從文本生成圖像。

Obj-GAN

微軟人工智能研究院（Microsoft Research AI）開發(fā)的新AI技術(shù)Obj-GAN可以理解自然語言描述、繪制草圖、合成圖像，然后根據(jù)草圖框架和文字提供的個(gè)別單詞細(xì)化細(xì)節(jié)。換句話說，這個(gè)網(wǎng)絡(luò)可以根據(jù)描述日常場景的文字描述生成同樣場景的圖像。

效果

模型

StoryGAN

進(jìn)階版神筆：只需一句話、一個(gè)故事，即可生成畫面

微軟新研究提出新型GAN——ObjGAN，可根據(jù)文字描述生成復(fù)雜場景。他們還提出另一個(gè)可以畫故事的GAN——StoryGAN，輸入一個(gè)故事的文本，即可輸出「連環(huán)畫」。

當(dāng)前最優(yōu)的文本到圖像生成模型可以基于單句描述生成逼真的鳥類圖像。然而，文本到圖像生成器遠(yuǎn)遠(yuǎn)不止僅對一個(gè)句子生成單個(gè)圖像。給定一個(gè)多句段落，生成一系列圖像，每個(gè)圖像對應(yīng)一個(gè)句子，完整地可視化整個(gè)故事。

效果

現(xiàn)在用得最多的Image-to-Image技術(shù)應(yīng)該就是美顏APP了，所以我們?yōu)槭裁床婚_發(fā)一個(gè)更加智能的美顏相機(jī)呢？