明天開(kāi)始！

【重要通知】2018新智元AI WORLD 2018世界人工智能峰會(huì)2018年中國(guó)人工智能最強(qiáng)引力波來(lái)襲！網(wǎng)站準(zhǔn)入以活動(dòng)銀行二維碼為準(zhǔn)。會(huì)議9月20日8:00正式開(kāi)始簽到，8:50開(kāi)始會(huì)議。如果現(xiàn)場(chǎng)座位緊張，請(qǐng)?zhí)崆昂灥絻稉Q會(huì)議嘉賓胸卡。發(fā)布會(huì)將在愛(ài)奇藝、新浪、騰訊直播。請(qǐng)注意。

愛(ài)奇藝居住地址:

https://live.iqiyi.com/s/19rqw411mv.html

編制:石三小秦

【新智元指南】圖像翻譯并不是什么新鮮事，但最近博主高橋敬二郎不僅實(shí)時(shí)完成了這個(gè)圖像生成任務(wù)，還將其“粘貼”到了3D模型上，打造出了一只生動(dòng)可愛(ài)的“專(zhuān)屬小貓”！

快看！這貨比魔筆還慘！

隨著GAN、pix2pix等技術(shù)的發(fā)展，圖像翻譯不再是一件陌生的事情。然而，實(shí)時(shí)和3D圖像翻譯是最受歡迎的。

半個(gè)月后，作者高橋敬二郎終于“翻譯”出了這個(gè)生動(dòng)的3D小咪咪:

專(zhuān)屬貓，你值得擁有！

其實(shí)做出這樣的喵叫聲并不難。

首先用速寫(xiě)板畫(huà)一只貓！

類(lèi)似于著名的edges2cats，Sketch Pad也是一種演示方法，但仍然是實(shí)時(shí)的。

其次，我們需要一些系統(tǒng)要求:

Unity 2018.1計(jì)算著色器功能（DX11，Metal，Vulkan等）

雖然它是以獨(dú)立于平臺(tái)的方式實(shí)現(xiàn)的，但它的許多部分都是針對(duì)NVIDIA GPU架構(gòu)進(jìn)行優(yōu)化的。

為了更好地運(yùn)行草圖板，作者建議使用GeForce GTX 1070或更高版本的Windows系統(tǒng)。

那么，如何使用訓(xùn)練好的模型呢？

該存儲(chǔ)庫(kù)不包含任何用于節(jié)省帶寬和存儲(chǔ)配額的經(jīng)過(guò)培訓(xùn)的模型。

要在統(tǒng)一編輯器上運(yùn)行示例項(xiàng)目，請(qǐng)下載預(yù)先訓(xùn)練好的edges2cats模型，并將其復(fù)制到資產(chǎn)/流組件中。

此實(shí)現(xiàn)僅支持?？死锼雇懈ズ谌?dòng)演示中使用的pict加權(quán)數(shù)據(jù)格式?？梢赃x擇預(yù)先訓(xùn)練好的模型，或者使用pix2pix-tensorflow訓(xùn)練自己的模型。

經(jīng)典Pix2pix

Pix2pix是針對(duì)不同圖像效果的轉(zhuǎn)換工具，基于GAN實(shí)現(xiàn)。Pix2pix是加州大學(xué)伯克利分校的Phillip Isola提出的。該論文于2016年11月首次在arxiv上發(fā)表，并于2017年被CVPR接受。雖然是老論文，但是作為經(jīng)典論文，還是值得一讀的，所以這里也介紹一下Pix2pix的方法。

本文研究了條件對(duì)抗網(wǎng)絡(luò)作為圖像到圖像轉(zhuǎn)換問(wèn)題的一般解決方案。這些網(wǎng)絡(luò)不僅學(xué)習(xí)從輸入圖像到輸出圖像的映射，還學(xué)習(xí)用于訓(xùn)練映射的損失函數(shù)。這使得將相同的一般方法應(yīng)用于傳統(tǒng)上需要非常不同的損失公式的問(wèn)題成為可能。

研究人員已經(jīng)證明，該方法在從標(biāo)簽地圖合成照片、從邊緣地圖重建對(duì)象以及給黑白圖像著色方面是有效的。這項(xiàng)工作表明，我們可以得到合理的結(jié)果，而不需要人工設(shè)計(jì)損失函數(shù)。

圖一:條件狀語(yǔ)網(wǎng)絡(luò)是一個(gè)通用的解決方案，似乎很好的解決了各種問(wèn)題。這里我們展示幾種方法的結(jié)果。在每種情況下，我們使用相同的架構(gòu)和目標(biāo)，但只是在不同的數(shù)據(jù)上進(jìn)行訓(xùn)練。

在一些任務(wù)中，你可以很快在小數(shù)據(jù)集上得到好的結(jié)果。比如為了學(xué)習(xí)生成外墻(如上圖)，我們只用了2個(gè)小時(shí)左右的時(shí)間訓(xùn)練了400張圖像(用的是一個(gè)Pascal Titan X GPU)。然而，對(duì)于更困難的問(wèn)題，在更大的數(shù)據(jù)集上進(jìn)行訓(xùn)練可能很重要，這需要許多小時(shí)甚至幾天。

既然是基于GAN，Pix2pix就離不開(kāi)發(fā)生器和鑒別器。

GAN是一個(gè)生成模型，學(xué)習(xí)從隨機(jī)噪聲向量z映射到輸出圖像y，即G: z → y..

相比之下，條件GAN學(xué)習(xí)的是觀測(cè)圖像x與隨機(jī)噪聲向量z和y之間的映射，即g: {x，z} → y。

發(fā)生器g被訓(xùn)練產(chǎn)生輸出，這樣這些輸出就不會(huì)被對(duì)抗訓(xùn)練的鑒別器d從“真實(shí)”圖像中區(qū)分出來(lái)；同時(shí)，鑒別器D被訓(xùn)練成盡可能地檢測(cè)發(fā)生器的“假”輸出。培訓(xùn)過(guò)程如下圖所示:

從地圖邊緣到照片訓(xùn)練有條件的甘

網(wǎng)絡(luò)體系結(jié)構(gòu)

本文利用深度卷積生成來(lái)調(diào)整對(duì)抗網(wǎng)絡(luò)DCGAN中生成器和鑒別器的結(jié)構(gòu)。發(fā)生器和鑒別器都使用卷積-batchorm-ReLu模塊。

發(fā)電機(jī)結(jié)構(gòu)的兩種選擇?！癠-Net”是一個(gè)編碼器-解碼器，在編碼器和解碼器堆棧中的圖像層之間有一個(gè)跳躍連接。

有關(guān)Pix2pix結(jié)構(gòu)的更多詳細(xì)信息，請(qǐng)閱讀原始論文:

https://arxiv.org/pdf/1611.07004.pdf

Pix2pix最著名的應(yīng)用是“畫(huà)貓”，edges2cats是基于pix2pix-tensorflow的實(shí)現(xiàn)。請(qǐng)看效果:

今天我們推出的Pix2Pix for Unity更加開(kāi)放，在3D模型上“畫(huà)貓”讓生成的貓動(dòng)起來(lái)。程序員擦貓真的很方便！

https://github.com/keijiro/Pix2Pix

https://twitter.com/_kzr

https://arxiv.org/pdf/1611.07004.pdf

倒計(jì)時(shí)一天

http://www.aiworld2018.com/

新浪直播地址:http://video.sina.com.cn/l/p/1724373.html

騰訊科技客戶(hù):http://view.inews.qq.com/a/TEC2018091801191900

個(gè)人電腦直播頁(yè)面:http://v.qq.com/live/p/topic/57401/preview.html

個(gè)人電腦預(yù)覽頁(yè):http://v.qq.com/live/p/topic/57401/preview.html