圖| VR觸覺動(dòng)作的手部跟蹤結(jié)果

文，學(xué)術(shù)標(biāo)題，作者，XT，編輯，柯建超

近年來，虛擬手在VR游戲等領(lǐng)域得到了廣泛的應(yīng)用，開發(fā)人員不斷探索基于逼真的虛擬手手勢識(shí)別的交互運(yùn)動(dòng)，但為了讓用戶充分感受到實(shí)際運(yùn)動(dòng)的真實(shí)感，技術(shù)上的困難很多。

目前，在虛擬/增強(qiáng)現(xiàn)實(shí)(VR/AR)領(lǐng)域，大多數(shù)跟蹤手部動(dòng)作的尖端技術(shù)都缺乏準(zhǔn)確性。

依賴于視覺檢測的跟蹤設(shè)備在黑暗環(huán)境或障礙物阻擋視線時(shí)不起作用，依賴于速度和力計(jì)算位置的慣性測量單位(IMU)更容易受到電磁干擾。同樣，由軟傳感器組成的一些設(shè)備也不能始終區(qū)分運(yùn)動(dòng)何時(shí)、何時(shí)觸摸會(huì)使物體變形。

最近，韓國首爾大學(xué)、美國斯坦福大學(xué)和三星電子的科學(xué)團(tuán)隊(duì)以緊密結(jié)合的方式融合了視覺傳感器和IMU，克服了這一局限，設(shè)計(jì)了新的視覺慣性骨架跟蹤(VIST)框架。

論文指出，該框架由裝有傳感器的手套和頭部安裝攝像頭組成，是一個(gè)準(zhǔn)確、經(jīng)濟(jì)、可攜帶、甚至可清洗的跟蹤系統(tǒng)，結(jié)合視覺和力量的測量，可以準(zhǔn)確跟蹤人體手部和手指的運(yùn)動(dòng)，并能準(zhǔn)確跟蹤在實(shí)際環(huán)境中受到障礙物影響而難以檢測的運(yùn)動(dòng)。

此外，研究人員還展示了將這種新的跟蹤系統(tǒng)應(yīng)用于VR、假肢、野外無人機(jī)等多個(gè)領(lǐng)域的潛力。

一種十分友好的人機(jī)交互

人類可以輕松地使用手進(jìn)行一些運(yùn)動(dòng)控制，如果可以將人類手的靈活性復(fù)制到VR/AR場景中(例如，通過擬人機(jī)器人手的觸覺反饋)，可以執(zhí)行復(fù)雜的遠(yuǎn)程操作任務(wù)。能夠顯著提高人機(jī)交互(HRI)應(yīng)用程序的效率、直觀性和豐富性。

實(shí)時(shí)交互是指用戶在模擬環(huán)境中能夠操作物體的程度，以及從環(huán)境中得到反饋的自然程度。交互主要通過VR系統(tǒng)中的特殊硬件設(shè)備(如數(shù)據(jù)手套、力反饋設(shè)備等)，讓用戶自然產(chǎn)生與真實(shí)情況相同的感覺。VR系統(tǒng)強(qiáng)調(diào)與虛擬世界的自然交互，交互的另一個(gè)方面主要體現(xiàn)了交互的實(shí)時(shí)性。

包括手指在內(nèi)的相對部跟蹤是VR/AR和人機(jī)交互的用戶體驗(yàn)中的關(guān)鍵技術(shù)。目前，解決手部跟蹤問題的方法主要有三種。

基于視覺的手部跟蹤。利用機(jī)器學(xué)習(xí)技術(shù)跟蹤沒有標(biāo)記的手的運(yùn)動(dòng)，利用大圖像數(shù)據(jù)集訓(xùn)練，但這種方法存在無法避免遮擋的問題。

基于慣性測量單位(IMU)/指南針的可穿戴手跟蹤。常用的傳感器有六軸IMU(加速度計(jì)和陀螺儀)和指南針(磁強(qiáng)計(jì))。這種方法根本上容易受到磁場的變化或干擾，鐵磁物體或電子設(shè)備的干擾很嚴(yán)重。

軟裝可穿戴手追蹤。使用軟傳感器檢測每個(gè)傳感器變形產(chǎn)生的信號，將傳感器包裹在手部周圍，使用附加的手部姿勢傳感器估計(jì)手部的構(gòu)成。這種方法不能區(qū)分運(yùn)動(dòng)引起的變形和接觸引起的變形，因此不適合用戶需要處理對象/工具或佩戴觸覺設(shè)備的應(yīng)用程序。

另外，純磁跟蹤器、外骨骼跟蹤等方法存在一些技術(shù)和應(yīng)用限制。

為此，研究人員提出了視覺慣性骨架跟蹤(VIST)系統(tǒng)及其算法，通過準(zhǔn)確、穩(wěn)健、經(jīng)濟(jì)的手部跟蹤克服了這種手部跟蹤方法的技術(shù)局限性。

圖| |VIST中的系統(tǒng)配置和可能的應(yīng)用程序(來源：本論文)

VIST系統(tǒng)的主要?jiǎng)?chuàng)新之一是將視覺傳感器和慣性傳感器緊密結(jié)合(TC)在一起，對視覺傳感器無法檢測到的物體，慣性傳感器進(jìn)行輔助估計(jì)，反之亦然。慣性傳感器檢測不到的動(dòng)作也是由視覺數(shù)據(jù)補(bǔ)充的，TC融合方法可以表明VIST算法在手部跟蹤中更加穩(wěn)健。VIST體系結(jié)構(gòu)的一些主要優(yōu)點(diǎn)包括：

由于TC視覺-慣性融合和自動(dòng)校準(zhǔn)，跟蹤精度比其他最先進(jìn)的方法高。

遮擋、視覺復(fù)雜性/變化的環(huán)境和環(huán)境照明的堅(jiān)固性

電磁干擾和模糊的機(jī)械接觸的魯棒，可以操縱物體和穿戴設(shè)備。

包括實(shí)時(shí)校準(zhǔn)/自動(dòng)校準(zhǔn)解剖/手套運(yùn)動(dòng)學(xué)參數(shù)和VIST算法

可清洗的堅(jiān)固性、手套材料成本負(fù)擔(dān)、使用頭部顯示器(HMD)的相機(jī)和計(jì)算，重量輕，穿戴性好。

在

顯著提高跟蹤精度和用戶便利性

手部跟蹤系統(tǒng)中，對手的建模是重要的一步。本研究將手建模為分段關(guān)節(jié)骨骼模型，并選擇手背和在日常生活中發(fā)揮重要作用的三根手指(拇指、食指和中指)作為目標(biāo)跟蹤。

段。

圖｜VIST 的建模與流程（來源：該論文）

為了獲得目標(biāo)跟蹤段的視覺和慣性信息，研究人員設(shè)計(jì)了一個(gè)傳感器手套，手套分兩層：帶有 7 個(gè) IMU 的手套內(nèi)層，帶有 37 個(gè)視覺標(biāo)記的外手套層 ，視覺標(biāo)記具有 4 種不同顏色（紅色、藍(lán)色、綠色和黃色），手套上還有一個(gè)頭戴式立體攝像機(jī)。

同時(shí)，研究人員還開發(fā)了一種基于濾波的視覺慣性手部跟蹤算法，該算法主要包括對視覺信息的提取以及視覺慣性手部運(yùn)動(dòng)的估計(jì)，通過將 IMU 信息與提取的視覺信息和手部解剖約束融合處理，來估計(jì)手部運(yùn)動(dòng)。

圖 | 未使用視覺和慣性信號融合處理的方法得到的跟蹤效果（有許多異常值，檢測精度不穩(wěn)定）

圖 | 使用視覺和慣性信號融合處理的方法得到的跟蹤效果（利用 IMU 信息進(jìn)行魯棒匹配）

視覺信息的提取主要包括對原始圖像中的標(biāo)記檢測、左右立體匹配和 IMU 輔助的對應(yīng)搜索三個(gè)過程，在數(shù)據(jù)融合處理過程中使用 IMU 信息進(jìn)行手部運(yùn)動(dòng)預(yù)測，再利用視覺信息進(jìn)行校正，然后對手部作解剖約束進(jìn)行校正。由于使用視覺慣性融合對關(guān)節(jié)段的運(yùn)動(dòng)相關(guān)狀態(tài)進(jìn)行實(shí)時(shí)校準(zhǔn)和自動(dòng)校準(zhǔn)，與其他系統(tǒng)相比，該研究設(shè)計(jì)的 VIST 系統(tǒng)可以顯著提高跟蹤精度和用戶便利性。

VIST 算法的高魯棒性

另外，研究人員也定量評估了 VIST 系統(tǒng)在自由運(yùn)動(dòng)、對象交互和佩戴指尖皮膚觸覺設(shè)備（CHD）的情況下的性能和穩(wěn)健性。

每個(gè)實(shí)驗(yàn)招募了 15 名參與者，每位參與者被指示坐在一張被 MOCAP 攝像機(jī)包圍的桌子前，并復(fù)制監(jiān)視器中隨機(jī)顯示的手部配置。

圖 | 自由運(yùn)動(dòng)跟蹤定量評估的測試設(shè)置和結(jié)果（來源：該論文）

由于 VIST 跟蹤利用了視覺信息和手部參數(shù)的自動(dòng)校準(zhǔn)，對手部大小的可變性不敏感。研究人員通過實(shí)驗(yàn)觀察發(fā)現(xiàn)，VIST 算法對遮擋具有良好的魯棒性，即使可見標(biāo)記相當(dāng)少，其平均誤差也僅略微增加。

研究人員構(gòu)建了 8 個(gè)日常對象的圖像數(shù)據(jù)集，每個(gè)對象有 100 張不同手部姿勢的圖像，以此來定量評估 VIST 系統(tǒng)在對象交互和佩戴指尖皮膚觸覺裝置上的應(yīng)用，從而評估其對嚴(yán)重閉塞、磁干擾和機(jī)械接觸的魯棒性。

以往的研究表明，人類無法檢測到 VR 中 50 毫米以下的食指尖跟蹤誤差，而且人類無法基于本體感覺區(qū)分 1.7 度以下的食指關(guān)節(jié)角度誤差。

研究發(fā)現(xiàn)，該研究設(shè)計(jì)的 VIST 系統(tǒng)可能允許用戶根據(jù)真實(shí)的手準(zhǔn)確地感知渲染的手，且優(yōu)于一些最先進(jìn)的基于視覺的算法對于自由運(yùn)動(dòng)的跟蹤，該 VIST 算法的平均誤差僅為 10.69 mm。

圖 | 對視覺復(fù)雜背景的定性評價(jià)（來源：該論文）

研究發(fā)現(xiàn)，VIST 系統(tǒng)在使用手鉆、便攜風(fēng)扇、耳機(jī)殼、CHDs 等含有鐵磁材料或內(nèi)部電流的設(shè)備時(shí)，不僅可以保持跟蹤穩(wěn)定性，還可以保持其準(zhǔn)確性。

圖 | 操作工具時(shí)跟蹤手勢（在工廠中，操作一些工具時(shí)的手勢跟蹤是非常具有挑戰(zhàn)性的）

VIST 系統(tǒng)在真實(shí)場景中具有強(qiáng)穩(wěn)健性

研究人員在真實(shí)場景中對 VIST 系統(tǒng)進(jìn)行了一些具有挑戰(zhàn)性定性測試，在背景中使用彩色物體（雜志、水果和文具）和一幅畫（阿爾勒的臥室），在視覺上與手套標(biāo)記具有相似的顏色/圖案。

研究表明，盡管存在視覺上對抗的物體和背景，該系統(tǒng)仍可以穩(wěn)健地跟蹤手部運(yùn)動(dòng)。

圖｜各種閉塞的定性評估（來源：該論文）

此外，通過 IMU 輔助的對應(yīng)搜索，可以將標(biāo)記觀察結(jié)果與手套上的真實(shí)匿名標(biāo)記進(jìn)行穩(wěn)健匹配，同時(shí)有效地消除異常值，從而即使在視覺復(fù)雜的對象和背景下，也能表現(xiàn)出穩(wěn)定的跟蹤性能。

研究人員還在戶外對 VIST系統(tǒng)的性能進(jìn)行了測試。實(shí)驗(yàn)表明，VIST系統(tǒng)可以在戶外穩(wěn)健地跟蹤手部運(yùn)動(dòng)，而這一點(diǎn)對大多數(shù)現(xiàn)有的系統(tǒng)來說是相當(dāng)困難的。

戶外實(shí)驗(yàn)不僅驗(yàn)證了 VIST 系統(tǒng)在硬件和算法方面的完全可移植性，也驗(yàn)證了它在戶外場景的應(yīng)用中具有可行性。

圖 | VIST 系統(tǒng)戶外性能測試

通過定量和定性的評估，研究發(fā)現(xiàn) VIST 系統(tǒng)在具有挑戰(zhàn)性的真實(shí)世界場景中運(yùn)行穩(wěn)健且性能高，尤其是 VIST 架構(gòu)能夠與具有手的大小和形狀變化的不同物體進(jìn)行互動(dòng)。

VIST 系統(tǒng)規(guī)避了基于視覺的系統(tǒng)的基本問題，在處理閉塞、泛化和緩慢的更新中均具有優(yōu)越性，克服了IMU/compass-可穿戴系統(tǒng)的漂移或磁干擾問題，通過利用視覺信息與解剖學(xué)約束相結(jié)合，還克服了軟傳感器可穿戴系統(tǒng)的未建模接觸問題。

通過融合視覺和慣性傳感器在 TC 融合中的互補(bǔ)性，VIST 系統(tǒng)解決了現(xiàn)有手部跟蹤系統(tǒng)的基本約束，這對于正確解決手部跟蹤的特殊性至關(guān)重要。

研究人員表示，VIST 系統(tǒng)的強(qiáng)大手部跟蹤性能可能會(huì)促使其獲得更廣泛的應(yīng)用，解決現(xiàn)有方法所無法企及的各種現(xiàn)實(shí)世界的應(yīng)用場景，例如醫(yī)療康復(fù)的日常監(jiān)測和工具操作技能評估等。

參考資料：