蕭蕭頭下凹非寺。

量子比特報告|公眾號QbitAI

說到短視頻效果，你可能第一次想到“抖音(抖音)效果”。

是的，抖音(抖音)效果好像總是很火。就像回到了視頻里的“三歲”。

視頻源@賴美云

或者一個動作打破次元壁，PDD也皺眉頭。

事實上，AI相關的特效技術，國內外也有很多APP在做，但啟動手機后圈圈得最多的往往是抖音(抖音)。

同類特殊效果，后面使用的AI技術實際上很接近，但抖音(抖音)效果更具真實感、流暢、爆款也更多。(這是一個偉大的時代。)(莎士比亞。)(另一個時代。)(另一個時代。)

抖音(抖音)特效常青樹的秘訣到底是什么？

5米的話，效果可以和虛幻的引擎媲美。

特效的想法不可預測，但渲染效果和計算時間可以磨練到最高值。

其中，渲染效果依賴于計算機視覺(CV)計算機地理(CG)的兩種算法改進，而計算時間取決于模型的優(yōu)化。

對于計算機，CV算法使您能夠準確地“理解”照片的內容。小效果的匹配度、實時跟蹤的準確性、整體圖像的分辨率提高、風格變化等都屬于CV算法的范疇。

合成菠蘿之類的面部效果，或者高清修復老照片，或者“三歲回歸”、“漫畫臉”之類的整個畫風的轉移都屬于CV算法的“責任”。

抖音(抖音)CV算法基本上依賴于自己的研究。僅在CVPR 2021的首腦會議上，被選為字節(jié)跳動合作的論文就有14篇，涵蓋NAS、圖像恢復、行為識別等，并在移動目標檢測、精細圖像識別、視頻分類等細分領域的比賽中獲得冠軍。

此外，CG算法可以讓計算機產(chǎn)生假效果，并與CV算法相結合，適合照片或視頻。(莎士比亞，CG算法)。

與常規(guī)PBR算法一樣，僅渲染“基本任務”。電影中常用的粒子系統(tǒng)、抖音(抖音)也用于手機效果，透明材料、布魯姆效果.不僅是2D貼紙，更接近真實場景。

3D渲染和2D程序火焰效果比較

但是，無論是CV算法還是CG算法，模型越大，渲染效果越好。

電影業(yè)界甚至有人說：“如果用專業(yè)渲染算法制作1秒的頂級效果，可能需要連續(xù)50天進行渲染?！?

這種特效模式絕對不能滿足用戶的實時拍攝要求，更不用說流暢了。

但是火山引擎技術專家楊輝表示，抖音(抖音)5MB的渲染效果可以與虛幻引擎的實現(xiàn)相媲美。

是的。為了確保效果順利運行，抖音(抖音)效果模型嚴格限制為5MB，用戶可以實時使用。

5MB的所有文件，包括模型、貼圖、動畫、效果和邏輯觸發(fā)機制。

壓縮到最大計算時間是自研渲染引擎云渲染技術的結合。

在渲染工具中，抖音(抖音)不是使用Unity或虛幻引擎創(chuàng)建特殊效果，而是為短視頻和AR開發(fā)輕量級渲染引擎。

自研引擎?zhèn)戎赜谔岣吲臄z短視頻所需的特效算法，放棄一些游戲專用、短視頻不需要的特效，保證渲染效果。

同時，為了在特效中使用更好的渲染算法，抖音(抖音)自行研究云渲染技術，將原本需要用手機硬件計算的特效放到服務器端計算，然后將效果實時發(fā)送給用戶。(莎士比亞，模板，渲染，渲染，渲染，渲染，渲染，渲染，渲染)

這樣本來計算量是GPU級別的渲染效果也可以在手機上實時完成，其效果引人注目。

例如，渲染算法中的粒子系統(tǒng)必須使用GPU計算，才能獲得更好的效果(火焰效果)。相比之下，CPU計算更多的粒子系統(tǒng)

△2021年的煙花特效vs2018年的控雨特效

但前沿的CV+CG算法和自研工具，只是抖音特效的一部分秘訣。之所以能爆款頻出，離不開其成熟的產(chǎn)出流程、覆蓋場景全面的工業(yè)化體系。

火山引擎：技術井噴

一項技術能否常青，取決于它帶來的產(chǎn)品能否批量化生產(chǎn)、適用場景是否全面，對于特效也是如此。抖音特效，已然符合這兩個條件：

一方面，據(jù)抖音與火山引擎聯(lián)合發(fā)布的《抖音特效數(shù)據(jù)報告》顯示，2021上半年，抖音平臺平均每天上線超過100個特效爆款，用戶平均每5個投稿里，就有1個使用特效。

這意味著，抖音已經(jīng)具備了流水化生產(chǎn)特效的能力。同時，這些特效的質量，足以讓五分之一的投稿使用它們（抖音的日活用戶目前已達到6億）。

這也讓特效設計變得更加容易。在抖音將特效變成一個“創(chuàng)意生產(chǎn)線”之前，特效設計師并不是一個“低門檻”職業(yè)。據(jù)抖音爆款設計師游洋表示，自己原本是一名影視后期，但卻成功當上抖音特效師，身邊也有越來越多的同行，正在投身這個職業(yè)。

另一方面，抖音特效技術的應用場景，早已不止抖音APP，而已經(jīng)觸及到各行各業(yè)。

汽車行業(yè)，用特效實現(xiàn)的AR看車；美妝行業(yè)，用特效進行AR試妝；傳統(tǒng)媒體行業(yè)，用數(shù)字人技術做出虛擬主持人、虛擬客服……

△AR試妝

可以預見的是，抖音特效已經(jīng)不再是原本拍攝短視頻時所用的特效，而正逐漸成為一種“創(chuàng)意數(shù)字內容”。

出圈的抖音特效，成為字節(jié)增長秘訣中，又一塊不可或缺的重要版圖。

現(xiàn)在，字節(jié)跳動將它們全部公開了——以火山引擎的方式。

沒錯，就像字節(jié)管理能力的“井噴”產(chǎn)物飛書一樣，字節(jié)技術能力的井噴，帶來了火山引擎。

作為字節(jié)內部曾經(jīng)使用的技術平臺，火山引擎不止“存儲”著抖音所有特效背后的算法技術能力，也包含特效從制作、質量把關到落地的所有工程技術。

制作上，為了加快生產(chǎn)速度、降低技術門檻，字節(jié)將抖音特效背后的算法技術，變成了各種模塊化組件。

例如，抖音將常用CV、CG算法做成組件后，設計師只需要拖動讀條、或是按下按鍵，就能在特效中用上這一功能。

而包括從訓練到推理在內的算法生產(chǎn)過程，抖音全都采用自研推理框架和訓練平臺，確保最適合APP的運行速度。

質量審核上，特效設計會進行效果評級，資格足夠才能予以上線；同時字節(jié)內部也成立了專門的創(chuàng)新小組，保證算法的前沿和創(chuàng)新性，設計出更多滿足設計師需求的組件（頂會論文就有不少出自這里）。

落地上，抖音還會考慮用戶體驗度、不同場景下客戶的定制化需求。

例如，抖音采取了如不同手機性能的分級策略、運行速度優(yōu)化等技術措施，將系統(tǒng)崩潰率降低至10萬分之一。

同時，采用資源下發(fā)等技術，確保用戶能在不更新軟件的情況下，使用新特效；面對不同場景時，抖音特效的也能適應不同分辨率、接口類型和機型。

這一切，和前沿的算法技術一起，共同構成了抖音特效成功的秘訣。

“字節(jié)技術沒有秘密”

7月28日，火山引擎和抖音聯(lián)合宣布，將上萬抖音同款特效開放給客戶。

這意味著字節(jié)正在將包括算法、道具資源在內的抖音特效的所有優(yōu)勢，全部對外提供技術服務，讓更多人享受這一集大成的結果。

目前，像懂球帝、心心APP等一眾企業(yè)產(chǎn)品，已經(jīng)在使用火山引擎作為自己的業(yè)務增長技術。

未來，火山引擎也計劃進一步引入最新的技術如端云協(xié)同和多人互動，來增強用戶和客戶的特效體驗。

可以想見，更精致的特效、互動性更強的技術，都將成為抖音未來的發(fā)展方向。

同時，特效技術的發(fā)展，也會進一步給各行業(yè)帶來更多的驚喜。

以影視和游戲行業(yè)為例，這兩項技術能極大地減輕視頻后期制作、降低游戲美術成本。例如在某個角色身上加個馬賽克、或是做個智能貼圖，都不需要再一幀幀去手動調整，算法自動就能完成這些步驟。

這樣公開自己所有的增長技術，字節(jié)害怕同行的競爭嗎？

楊輝表示，不害怕：

隨著時間推移，任何一項新技術的準入門檻，都會越來越低。我們能做的，不是去打價格戰(zhàn)，而是去拓展、更新技術，保證自身的競爭力。

這個角度來說，字節(jié)跳動的增長技術，確實沒有秘密。

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態(tài)