據(jù)AI科技評論稱，快手app是一個供普通人記錄和共享的短視頻社交平臺，2018年快手的日常持續(xù)增長。

擁有如此龐大的用戶數(shù)，快手上每天都會產(chǎn)生很多有意思的內(nèi)容?？焓值牧髁坎⒉粫A向于紅人，不進行流量傾斜，每個視頻都有曝光的機會，因此，很多用戶都比較「接地氣」。為了降低拍攝視頻的門檻，輔助這些「接地氣」的用戶更好地進行內(nèi)容生產(chǎn)，快手 APP 上使用了大量的 AI 技術(shù)。

目前，快手上的特效有美妝裝飾特效、跳舞機游戲、控雨特效、AR 特效、染發(fā)特效、背景替換和魔法表情等。這些特效用到了人臉關(guān)鍵點、人體關(guān)鍵點識別、手勢識別、視覺慣性里程計、頭發(fā)分割、背景分割等人工智能技術(shù)。

在這些特效里面，「萌面 Kmoji」魔法表情是一個非常有意思的玩法，它于去年 12 月底上線。通過該功能，用戶能夠用相機拍攝生成自己的專屬臉部 AR 虛擬形象，同時可以捕捉用戶表情，眨眼、張嘴、抬眉毛、吐舌頭等細微動作都能精準還原。這是短視頻平臺首次實現(xiàn)用戶自定義 AR 虛擬形象進行拍攝的玩法。

那么，「萌面 Kmoji」魔法表情背后用到了哪些 AI 技術(shù)？快手團隊與我們分享了他們的技術(shù)方案。

萌面 Kmoji 背后的人工智能技術(shù)方案詳解

• 基于 3D 分析和 2D 信息融合的人臉屬性和表情識別

個性化萌面系統(tǒng)的實現(xiàn)基礎(chǔ)是人臉屬性和表情識別，這需要 3D 分析以及與 2D 信息的融合。

對于圖像信息，快手技術(shù)團隊會利用 3D 重建技術(shù)恢復(fù)出 3D 結(jié)構(gòu)，同時和 2D 信息做有機的融合，并基于這些重建、分析和融合，做人臉屬性的分析，從各個維度分析出人臉特征，生成個性化的虛擬形象。同時也會實時進行人臉的表情分析，用于驅(qū)動生成的虛擬形象。

在此基礎(chǔ)之上，快手技術(shù)團隊還會借助人體進行相關(guān)分析，比如頭發(fā)，肩部等，為和現(xiàn)實場景融合打下基礎(chǔ)，并通過自研的手機端真實感渲染引擎，將活動的個性化萌面實時呈現(xiàn)給用戶。

• 3D 人臉重建

3D 人臉重建是整個系統(tǒng)中非常重要的一環(huán)?？焓旨夹g(shù)團隊采集了上萬人臉三維數(shù)據(jù)，包含各種年齡段，人種，臉型等，以及每個個體對應(yīng)的人臉各種表情，從而建立了幾乎涵蓋所有人臉空間和表情空間的三維人臉數(shù)據(jù)庫。通過該數(shù)據(jù)庫，可以建模出任意人臉的任意表情?？焓旨夹g(shù)團隊研發(fā)了人臉關(guān)鍵點技術(shù)，通過百余個關(guān)鍵點刻畫人臉的表情變化，從而重建每個個體各種表情下的三維人臉。另一方面，通過高效的神經(jīng)網(wǎng)絡(luò)技術(shù)，保證 3D 人臉重建在性能較低的手機上也能實時運行。

• 人臉屬性感知

在人臉屬性感知方面，快手技術(shù)團隊采用神經(jīng)網(wǎng)絡(luò)感知人臉細粒度屬性，包含了性別，年齡，膚色，臉型，眼睛，嘴巴細粒度信息，相比同類產(chǎn)品，可做到自動的人臉定制化，同時利用海量人臉數(shù)據(jù)，多任務(wù)協(xié)同學習，捕捉人臉細微特征。細粒度屬性的區(qū)分是非常困難的，有些問題即使是人眼本身都難以區(qū)分，為此快手技術(shù)團隊做了很多精細的設(shè)計，融合了分類/回歸/分割等技術(shù)，提高自動捏臉的準確度。

• 人臉表情識別

人臉表情是一種復(fù)雜且細微的信息，人對表情的感知尤其靈敏。讓機器識別細微/夸張/靈活/穩(wěn)定的人臉表情信號，單靠圖像信息是難以達到的。

快手技術(shù)團隊通過 2D 的 RGB 視覺信息對問題進行建模、求解，獲得人臉關(guān)鍵點以及實時重建的三維模型，并把 1D、2D 和 3D 三種不同模態(tài)的信息進行建模對齊，求解出人臉的表情，驅(qū)動虛擬形象做各種逼真的動作。同時，得益于深度神經(jīng)網(wǎng)絡(luò)模型的量化，通過壓縮和加速解決手機性能問題，該方案可適配任意機型。

• 高質(zhì)量渲染

萌面效果的最終呈現(xiàn)離不開渲染，為了獲得高質(zhì)量的渲染，快手技術(shù)團隊采用了先進的 PBR 技術(shù)，在移動端實現(xiàn)了 PC 游戲級畫質(zhì)；同時，依托深厚的 AI 技術(shù)積累，萌面能夠根據(jù)外部環(huán)境和用戶的形象特征智能化地選擇最適合用戶的材質(zhì)，達到最優(yōu)的渲染效果。

為了獲得更加真實的體驗效果，快手技術(shù)團隊引入了物理引擎實現(xiàn)頭發(fā)、布料等柔體的運動效果。為了使用戶獲得最優(yōu)的體驗，渲染引擎會根據(jù)不同機型選擇合適的渲染質(zhì)量。

• 移動端預(yù)測模型優(yōu)化

為了讓 AI 模型在手機端能夠流暢地運行，快手技術(shù)團隊主要做了三方面的優(yōu)化：

1. 首先，在圖像預(yù)處理環(huán)節(jié)，將圖像各種預(yù)處理操作合并起來，并對預(yù)處理所涉及到的圖像內(nèi)存進行統(tǒng)一分配和回收，以減少內(nèi)存資源的消耗，提高分配使用的效率；

2. 其次，充分利用 NEON 加速以及蘋果自帶的 accelerate 加速，使得整個運行庫只占用 2M 的空間；

3. 最后，在保證預(yù)測精度的前提下，對 AI 模型進行局部的 INT8 量化，經(jīng)過優(yōu)化后，運行速度可提高 1 倍以上，同時 AI 預(yù)測模型的占用空間也壓縮到將近原來的四分之一。

以上就是「萌面 Kmoji」魔法表情使用的 AI 技術(shù)。除了虛擬形象之外，基于萌面所使用的這套系統(tǒng)，快手技術(shù)團體還進行了擴展應(yīng)用：「人像 3D 打光」、「世界上另一個你」。雷鋒網(wǎng)認為，「世界上另一個你」這個功能特別有創(chuàng)意，通過分析用戶的臉部數(shù)據(jù)，找出快手用戶中哪些人長相和當前用戶非常像。在快手總部，雷鋒網(wǎng)編輯現(xiàn)場體驗了一下，找出來的人在長相上和本人在五官、發(fā)型和臉型等方面極其相似，甚至就是「世界上另一個我」。期待快手在 AI 技術(shù)上繼續(xù)發(fā)力，為我們創(chuàng)造出更多好玩的功能。

點擊閱讀原文，查看 快手科技李巖：多模態(tài)技術(shù)在產(chǎn)業(yè)界的應(yīng)用與未來展望