據(jù)國(guó)外媒體報(bào)道，F(xiàn)acebook的AR/VR R&D團(tuán)隊(duì)Reality Labs發(fā)布了一份關(guān)于超現(xiàn)實(shí)實(shí)時(shí)頭像方法的詳細(xì)研究，擴(kuò)展了以前稱(chēng)為“編解碼器頭像”的工作。

Facebook Reality Lab創(chuàng)建了一個(gè)系統(tǒng)，可以實(shí)時(shí)為虛擬頭像提供動(dòng)畫(huà)處理，通過(guò)硬件實(shí)現(xiàn)前所未有的逼真度，并通過(guò)頭部顯示器內(nèi)部的三個(gè)標(biāo)準(zhǔn)攝像頭捕捉用戶的眼睛和嘴巴。該系統(tǒng)能夠比以往的方法更準(zhǔn)確地表達(dá)特定個(gè)體復(fù)雜面部表情的細(xì)微差異。

本研究的重點(diǎn)不僅僅是將攝像頭固定在頭部顯示器上，而是利用傳入的圖像來(lái)驅(qū)動(dòng)用戶的虛擬表情。解決方案在很大程度上依賴(lài)于機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)。其中一位作者說(shuō):“我們的系統(tǒng)實(shí)時(shí)運(yùn)行。適合各種表情，包括鼓鼓的臉頰，咬咬的嘴唇，搖擺的舌頭，皺紋之類(lèi)的細(xì)節(jié)。這些細(xì)節(jié)在以前的方法中很難準(zhǔn)確描述?！?/p>

該小組還發(fā)表了他們完整的研究論文，深入研究了系統(tǒng)背后的方法和數(shù)學(xué)。作品《通過(guò)多視角圖像翻譯進(jìn)行VR人臉動(dòng)畫(huà)》發(fā)表在ACM《圖形學(xué)學(xué)報(bào)》上，自稱(chēng)“圖形學(xué)領(lǐng)域最重要的同行評(píng)議期刊”。本文由施-韋恩、賈森·薩拉吉、托馬斯·西蒙和亞當(dāng)·w撰寫(xiě)，哈利、斯蒂芬·隆巴迪、邁克爾·佩多奇、亞歷山大·海普斯、王大為、埃爾南·巴迪諾和亞塞爾·謝赫合著。

這篇論文解釋了這個(gè)項(xiàng)目如何涉及到創(chuàng)建兩個(gè)獨(dú)立的實(shí)驗(yàn)頭，一個(gè)“訓(xùn)練”頭和一個(gè)“跟蹤”頭。

這個(gè)訓(xùn)練頭的尺寸更大，使用九個(gè)攝像頭，可以捕捉到受試者面部和眼睛更寬的視野。這樣做使得更容易找到輸入圖像和用戶先前捕獲的數(shù)字掃描之間的“對(duì)應(yīng)關(guān)系”(決定輸入圖像的哪些部分代表化身的哪些部分)。根據(jù)該論文，這個(gè)過(guò)程是“通過(guò)自我管理的多視圖圖像翻譯自動(dòng)發(fā)現(xiàn)的，不需要人工注釋或域之間的一一對(duì)應(yīng)。”

一旦建立了對(duì)應(yīng)關(guān)系，就可以使用“跟蹤”標(biāo)題顯示。它的三個(gè)攝像頭對(duì)準(zhǔn)了“訓(xùn)練”頭上九個(gè)攝像頭中的三個(gè)。由于從“訓(xùn)練”頭部顯示器收集的數(shù)據(jù)可以更好地理解這三個(gè)攝像機(jī)的視圖，因此輸入可以準(zhǔn)確地驅(qū)動(dòng)化身的動(dòng)畫(huà)。

本文主要研究系統(tǒng)的精度。以前的方法生成逼真的輸出，但是與表情形式相比，用戶在關(guān)鍵區(qū)域的實(shí)際面部表情的準(zhǔn)確性會(huì)降低，尤其是在極端表情和眼睛與嘴巴運(yùn)動(dòng)之間的關(guān)系中。

當(dāng)你回過(guò)頭來(lái)看實(shí)際情況，你會(huì)發(fā)現(xiàn)這部作品令人印象深刻。對(duì)于臉部被頭部遮蓋的用戶，使用非常近的照相機(jī)鏡頭來(lái)精確地重建未遮蓋的臉部圖像。

雖然這種方法令人印象深刻，但仍然存在一些主要障礙。用戶的詳細(xì)初步掃描和“訓(xùn)練”頭部顯示的初始使用需要類(lèi)似于“掃描中心”的東西，在那里用戶可以掃描和訓(xùn)練他們的化身(當(dāng)你在那里時(shí)，你也可以捕捉定制的HRTF)。在虛擬現(xiàn)實(shí)成為社會(huì)交流的重要組成部分之前，這樣一個(gè)中心似乎是不可行的。但是，先進(jìn)的傳感技術(shù)和基于這項(xiàng)工作的自動(dòng)通信建設(shè)的不斷完善，最終可能會(huì)從家里帶來(lái)一個(gè)可行的工作流程。