當前位置：首頁 > 時尚生活

虎牙晚玉虎牙推AI數(shù)字人，2000萬面模型復制主播，10億羊毛構建小程序生態(tài)

2020-12-15 13:58:53 時尚生活虎牙晚玉,虎牙,技術,開發(fā)者,數(shù)字

網(wǎng)絡直播，已經(jīng)不僅僅是一位主播唱歌跳舞玩游戲這么簡單了，AI技術正在滲入直播內(nèi)容制作的過程中。

就在虎牙的LiveTech大會上，虎牙做了兩項技術發(fā)布：

一是技術開放平臺，將各種AI能力開放給第三方開發(fā)者，用來開發(fā)有各種娛樂、工具功能的虎牙小程序，豐富直播的內(nèi)容和形式；

另一項則是

AI數(shù)字人

，借助計算機視覺技術，將真人或卡通IP創(chuàng)作為真實、細膩的虛擬形象，讓虛擬化的主播們擁有各種新技能，甚至“挑戰(zhàn)”原來的主播本人。

虎牙CTO賴立高說，直播把兩個空間的信息做了互通，但是距離感還是很大的，網(wǎng)絡要做的是拉短距離，把距離的感覺慢慢的打破，這也是大家的期待。

虎牙開放平臺

虎牙開放平臺基于虎牙小程序，它能夠以各種游戲、服務、工具的形式，存在于虎牙的直播活動中。第三方開發(fā)者可以利用虎牙開放出來的直播技術、開發(fā)工具、數(shù)據(jù)服務等進行小程序開發(fā)。

目前開放平臺已提供了跨終端開發(fā)框架，可以實現(xiàn)一次開發(fā)，多終端運行；提供了多終端統(tǒng)一SDK，終端原生組件，統(tǒng)一構建工具。

在具體的技術上，開發(fā)者可以用到虎牙的畫面融合、人臉加工、人臉貼紙等圖像技術，人臉關鍵點、人臉檢測、手勢識別等人體識別技術，以及游戲場景識別、唱歌識別、跳舞識別等內(nèi)容識別技術，語音轉文字、音效加工、聲音風格化等語音技術，另外還連接了禮物、彈幕、用戶信息、榜單數(shù)據(jù)等通道，降低了小程序的開發(fā)難度。

發(fā)布會現(xiàn)場，虎牙也展示了三家第三方合作伙伴開發(fā)出來的小程序產(chǎn)品。

比如《啵唧寵物》，借助虎牙開放出來的語音識別等技術，虛擬寵物可以在直播畫面上和主播互動表演；

還有《暴走坦克》游戲，主播闖關過程中，觀眾可以送血瓶提供助戰(zhàn)坦克，也可以送寶劍創(chuàng)造更多的怪物，形成雙方的互動；

而《歡樂農(nóng)牧》則是一款娛樂之外的小程序，可以幫助農(nóng)民們做養(yǎng)雞場等農(nóng)牧業(yè)生產(chǎn)場所的互動直播，還能提供各種優(yōu)惠券促進下單，頗有一絲“電商下鄉(xiāng)”的意味。

最后，對于虎牙小程序的開發(fā)者，可以采取一次性或者按一定周期的訂閱付費和內(nèi)購分成兩種盈利模式。

此外，還有一筆大羊毛，虎牙推出

小程序星火計劃

，將在3年投入10億的資源，用于內(nèi)容生態(tài)構建、優(yōu)質(zhì)小程序與優(yōu)秀開發(fā)者獎勵以及消費市場培育。

AI數(shù)字人

虎牙還推出了具有虛擬形象的AI數(shù)字人，第一個數(shù)字人形象，是以虎牙平臺的游戲主播晚玉為原型制作的。

在數(shù)字人晚玉上，虎牙掃描了2000萬面超高精度拓撲的模型，通過肌肉和骨骼綁定后，可驅動的表情面數(shù)超過4萬個，在肢體上骨骼動作支持超過70個自由度。

效果，大概長這樣，可以是AR的：

晚玉并沒有出現(xiàn)在真實的舞臺上，而是在一旁的屏幕中出現(xiàn)了AR形象。

也可以是在虛擬世界中的：

借助動作捕捉等方式，他學會了晚玉本人并不會的跳舞技能，還在直播間里以“晚玉的弟弟晚王”的身份，開啟了一場真人vs.數(shù)字人的直播。虛擬空間里的“弟弟”可以隨時換背景，有更多特效互動。

此外，虎牙啟動了虛實結合開放平臺HERO（Huya Extended Reality Open-platform），主播和開發(fā)者可以用自己的設備構建自己喜愛的形象和AR應用玩法，因此，除了作為代表人物的晚玉，無論是真人還是虛擬人物，各家的IP都可以借助這個平臺創(chuàng)作出數(shù)字人形象。

不過，這個數(shù)字人形象目前僅限于人物的外形方面，暫時還不能像小冰、小愛、Siri們一樣自由的表達和回應問題。這不禁讓人覺得，HERO平臺和“復現(xiàn)”人物性格人設的微軟Avatar Framework簡直天作之合。

“把物理世界結構化”

其實看虎牙公開的兩項技術進展，都不僅僅聚焦于娛樂直播方面，更多的則是與真實世界的結合，借助第三方開發(fā)者們的智慧和真實世界產(chǎn)生交互，借助數(shù)字人技術將真實世界投射在虛擬空間中。