照片來(lái)源@Unsplash

在非常有活力的音樂(lè)中，一個(gè)少年騎著滑板穿過(guò)崇山峻嶺和西部公路，當(dāng)你認(rèn)為是什么電影的時(shí)候，畫(huà)面在旋轉(zhuǎn)，畫(huà)面外的少年在原地?cái)[姿勢(shì)。(莎士比亞)。

以往這種效果，往往通過(guò)專(zhuān)業(yè)團(tuán)隊(duì)搭建綠幕完成，而現(xiàn)在一家公司想用AI技術(shù)“取代”綠幕，讓人在手機(jī)拍攝時(shí)，就能實(shí)時(shí)完成視頻摳圖。

這便是Versa（上海懿天網(wǎng)絡(luò)科技）公司推出的新產(chǎn)品“綠幕俠”，該產(chǎn)品希望能夠一部分“替代”綠幕，讓普通人也參與到微電影短視頻的制作當(dāng)中。

如下圖所示，用戶(hù)進(jìn)入“綠幕俠”后默認(rèn)是綠幕，用戶(hù)還可選擇其他視頻場(chǎng)景如“梵高的博物館”、“徒步歐洲”和“像素人”等主題。視頻中的人像會(huì)被App自動(dòng)摳圖出來(lái)，可改變大小或復(fù)制拼貼。據(jù)鈦媒體觀察，當(dāng)前產(chǎn)品中內(nèi)置的許多視頻場(chǎng)景由用戶(hù)上傳。

用戶(hù)可在“綠幕俠”主頁(yè)可選擇不同場(chǎng)景拍攝視頻

Versa希望能做成手機(jī)端的Adobe，只是前者的受眾偏向設(shè)計(jì)師等專(zhuān)業(yè)群體，而Versa公司希望能降低創(chuàng)意設(shè)計(jì)的門(mén)檻。與Adobe全家桶類(lèi)似的是，未來(lái)versa也打算推出一系列產(chǎn)品，專(zhuān)門(mén)解決普通人在圖片、攝影、視頻和音樂(lè)方面的創(chuàng)意設(shè)計(jì)問(wèn)題。另外，除了移動(dòng)端，這些產(chǎn)品也將逐步在Pad和PC端上落地。

2018年8月，Versa推出了AI圖像處理App“馬卡龍玩圖”，該產(chǎn)品的定位是“手機(jī)端Photoshop”，其最重要的功能之一，就是利用計(jì)算機(jī)視覺(jué)中的AI圖像語(yǔ)義分割技術(shù)進(jìn)行一鍵摳圖，實(shí)現(xiàn)人景分離和圖像分離。用戶(hù)不僅能一鍵P掉游客照中的路人，還能穿梭于世界名畫(huà)、日漫風(fēng)景等各種場(chǎng)景中。

蔡天懿對(duì)鈦媒體透露，之后“馬卡龍玩圖”也會(huì)上線視頻摳圖功能，不過(guò)與“綠幕俠”不同的是，前者注重視頻的編輯功能，會(huì)對(duì)已有視頻做特效編輯；而后者重視拍攝過(guò)程，可實(shí)時(shí)摳圖完成特效。

用戶(hù)在產(chǎn)品的內(nèi)容社區(qū)上傳自己的作品（圖片來(lái)源于馬卡龍玩圖）

AI圖像語(yǔ)義分割是Versa公司系列產(chǎn)品中最核心的技術(shù)。從“馬卡龍玩圖”到“綠幕俠”，Versa產(chǎn)品的處理對(duì)象完成了從圖像到視頻的跨越，兩者都基于AI圖像語(yǔ)義分割，只是后者面臨的技術(shù)挑戰(zhàn)更大。

那么，實(shí)時(shí)的視頻摳圖要如何實(shí)現(xiàn)，實(shí)現(xiàn)了部分特效制作的“綠幕俠”又有著怎樣的想象力？

視頻摳圖的技術(shù)攻堅(jiān)戰(zhàn)

馬卡龍玩圖剛上線時(shí)僅能做到人景分離，現(xiàn)在已經(jīng)能做到圖像分離，分割幾十余種常見(jiàn)實(shí)例，除了識(shí)別人，人體各部分（如五官、頭發(fā)和衣服）還有人的附屬物（如背的包袋）等等。

視頻摳圖也是如此，多張圖片的連續(xù)便成了視頻。幀數(shù)越多，人所看到的視頻越細(xì)膩。電影的幀數(shù)是24幀/秒，而“綠幕俠”的頻率已經(jīng)能達(dá)到30幀/秒，相當(dāng)于1秒處理30張圖片，一張圖片約為33毫秒。

“綠幕俠”視頻摳圖示意圖（來(lái)源產(chǎn)品宣傳片）

在從圖像摳圖到視頻摳圖的轉(zhuǎn)變中，Versa團(tuán)隊(duì)曾面臨一個(gè)問(wèn)題：做實(shí)時(shí)視頻摳圖，AI模型的運(yùn)算選擇云端還是手機(jī)端？

“我們決定把運(yùn)算放在手機(jī)端而非云端。這主要出于實(shí)時(shí)處理、節(jié)省費(fèi)用和個(gè)人隱私三方面的考量，”蔡天懿對(duì)鈦媒體表示。

他補(bǔ)充道，首先，在云端處理往往有100毫秒的時(shí)延，而“綠幕俠”是實(shí)時(shí)摳圖替換背景，有時(shí)延便無(wú)法做到實(shí)時(shí)。其次，視頻處理跑在云端需要額外負(fù)擔(dān)比圖片處理高30倍的云端服務(wù)器的成本，且用戶(hù)數(shù)越多成本越高。第三，拍照視頻都屬于個(gè)人私隱，上云也會(huì)存在安全隱患。實(shí)現(xiàn)手機(jī)端運(yùn)行是綠幕俠App落地的首要條件。

像前段時(shí)間流行的FaceApp能讓人一鍵變老，該產(chǎn)品就是要先上傳到云端再做計(jì)算，不僅會(huì)受到網(wǎng)絡(luò)狀況的影響，還被質(zhì)疑上云會(huì)侵犯用戶(hù)的隱私。

但是把視頻摳圖放在手機(jī)端運(yùn)行，技術(shù)門(mén)檻并不低。這既需要將云端的大算法模型縮小到手機(jī)端同時(shí)又保證處理效果，又需要能夠提供足夠算力的手機(jī)芯片。

在算法模型的升級(jí)上，Versa的AI實(shí)驗(yàn)室于今年3月份完成了模型小型化，實(shí)現(xiàn)了把模型從云端放到手機(jī)端的前提。

蔡天懿對(duì)鈦媒體舉例道：“如果用一臺(tái)8000塊錢(qián)電腦的GPU做人景分離，一張圖需要100毫秒，一秒僅能做10張圖；但Versa的算法模型一秒可處理30張圖，還要保證一定的精度。優(yōu)化后AI模型增強(qiáng)了其處理能力?！?/p>

在模型優(yōu)化后，蔡天懿發(fā)現(xiàn)許多芯片依然帶不動(dòng)他們的AI模型，他們需要一個(gè)算力足夠大的芯片。當(dāng)前，“綠幕俠”產(chǎn)品在搭載麒麟810芯片的華為榮耀9X新機(jī)型上首發(fā)，麒麟810芯片內(nèi)置了華為自研的達(dá)芬奇架構(gòu)NPU，能為AI模型提供足夠的算力支持。

“事情的本質(zhì)是，我們有很好的AI模型，你敢有很好的芯片嗎？華為有了”，蔡天懿打趣道。

不過(guò)，不同芯片對(duì)于AI語(yǔ)義分割的效果也是十分明顯的。據(jù)蔡天懿表示，如果在其他芯片算力不夠的手機(jī)上運(yùn)行，效果出現(xiàn)幀數(shù)減半、卡頓或者精度不足也是無(wú)可避免的。這也是該產(chǎn)品在華為榮耀9X機(jī)型首發(fā)的原因。

“綠幕俠”不止于工具

新技術(shù)會(huì)帶來(lái)新的工具，新的工具又帶來(lái)新的玩法。

“除了18-25歲的年輕用戶(hù)，現(xiàn)在很多跳廣場(chǎng)舞的阿姨也在用我們的產(chǎn)品，她們會(huì)把自己跳舞的照片P到荷葉中間去，我們很高興能為普通人實(shí)現(xiàn)創(chuàng)作夢(mèng)想，”蔡天懿對(duì)鈦媒體表示。

如何從工具轉(zhuǎn)型為社區(qū)，是圖像和視頻處理工具普遍面臨的挑戰(zhàn)。即便美圖秀秀這種頭部的美顏修圖工具在轉(zhuǎn)型內(nèi)容社區(qū)時(shí)也會(huì)受挫。業(yè)內(nèi)人士曾對(duì)鈦媒體分析，轉(zhuǎn)型失敗的原因在于該類(lèi)工具的社區(qū)充斥大量自拍照片，內(nèi)容同質(zhì)化所以缺乏吸引力。

蔡天懿也認(rèn)為，“用戶(hù)的創(chuàng)意內(nèi)容才能使社區(qū)內(nèi)容更多元?！睘榇?，Versa官方也會(huì)推出話題鼓勵(lì)用戶(hù)作圖并發(fā)布在社區(qū)中。

除了在C端獲客，Versa也正在考慮和短視頻直播方和影視制作方合作。據(jù)蔡天懿預(yù)計(jì)，夾層廣告將為短視頻直播類(lèi)產(chǎn)品帶來(lái)廣告收益。實(shí)時(shí)視頻摳圖也將降低傳統(tǒng)綠幕特效和動(dòng)作捕捉的成本，并且減少后期制作周期。在不斷優(yōu)化下，未來(lái)或可達(dá)到影視制作工業(yè)級(jí)效果。

Versa還上線了OpenAPI平臺(tái)，為開(kāi)發(fā)者們與企業(yè)用戶(hù)提供多種圖片API接口如風(fēng)格渲染、人像分割、智能填充等，并為企業(yè)提供定制化的服務(wù)。

當(dāng)前，Versa已經(jīng)完成來(lái)自包括紅杉資本、真格基金和臻云創(chuàng)投在內(nèi)的三輪融資。去年12月，Versa獲得了來(lái)自騰訊的數(shù)千萬(wàn)美元A輪融資。Versa還與上海交大聯(lián)合成立了“腦科學(xué)與人工智能”實(shí)驗(yàn)室，去年一年發(fā)表了100多篇相關(guān)領(lǐng)域論文。

蔡天懿對(duì)鈦媒體表示，接下來(lái)Versa有三個(gè)深化方向：首先是做的更精細(xì)，讓邊緣清晰到連頭發(fā)絲也能摳圖出來(lái)；第二是要更快，希望每秒處理的幀數(shù)可以提高；第三是更多，希望不只能把人摳出來(lái)，還可以摳更細(xì)的物體，比如鞋子、衣服等等。

“你知道鋼鐵俠的眼鏡‘伊迪斯’嗎，只要戴上就能把每個(gè)物體掃描出來(lái)。我希望能達(dá)到這種圖像分割的效果，處理的更快也更多?！辈烫燔舱f(shuō)。

（本文首發(fā)鈦媒體，作者/蘆依，編輯/蔡鵬程）

更多精彩內(nèi)容，關(guān)注鈦媒體微信號(hào)（ID：taimeiti），或者下載鈦媒體App