丁苯橡膠使用的訓練數(shù)據(jù)是標記圖像數(shù)據(jù)和未標記視頻數(shù)據(jù)。在訓練過程中，SBR可以無監(jiān)督的方式從視頻中提取監(jiān)管信息，優(yōu)化檢測器(神經(jīng)網(wǎng)絡)。在測試階段，SBR訓練的模型可以在圖像或視頻數(shù)據(jù)中達到較高的精度，使視頻中的檢測結(jié)果更加穩(wěn)定。

注冊監(jiān)管培訓流程

SBR的訓練過程有兩個損失函數(shù)。一個是檢測器損失函數(shù)，另一個是定時配準損失函數(shù)。這兩種方法可以互補，使人臉關鍵點檢測器更加魯棒。檢測器損失函數(shù)作用于模型檢測結(jié)果和手動標注，優(yōu)化使得模型檢測結(jié)果和手動標注盡可能靠近標注的數(shù)據(jù)。定時配準的損失函數(shù)是優(yōu)化連續(xù)幾幀關鍵點檢測結(jié)果的定時一致性。具體來說，在輸入兩個連續(xù)的圖像t-1和T并通過同一個人臉關鍵點檢測器后，我們可以得到第t-1幀和第T幀的檢測結(jié)果。我們通過Lucas-Kanade算法將第t-1幀的檢測結(jié)果跟蹤到第T幀，時間序列配準損失函數(shù)是為了使第T幀上的跟蹤結(jié)果盡可能與檢測結(jié)果一致。值得注意的是，Lucas-Kanade算法不需要訓練，有封閉解，所以我們把Lucas-Kanade算法寫成可微模塊嵌入CNN。訓練時，檢測器丟失函數(shù)利用人臉外觀信息，通過人工標注學習關鍵點檢測器；定時配準的損失函數(shù)通過嵌入盧卡斯-卡納德模塊來保證定時的一致性。梯度可以通過盧卡斯-卡納德模塊傳輸?shù)綑z測模型，使檢測結(jié)果在相鄰幀上一致。

是什么啟發(fā)了注冊監(jiān)管的提出？

目前訓練CNN模型需要大量的標注數(shù)據(jù)。但是標注大量數(shù)據(jù)需要大量的人力資源，手工標注往往不準確。如下圖所示，16個關鍵點的位置用兩個嘴巴標注在圖片上，一種顏色代表一個關鍵點。我們給出九個標注器的標注結(jié)果，可以發(fā)現(xiàn)每個標注器對關鍵點的定位方差很大。這些標注錯誤會對訓練和測試模型產(chǎn)生很大影響。所以我們在想，是否可以用一種不需要人工標注的監(jiān)管信息來訓練CNN模型。為此，我們提出了監(jiān)督注冊，它利用視頻中相鄰幀之間的時序一致性作為監(jiān)督信息。

為什么文章顯示注冊監(jiān)管帶來的改善不多？

目前人臉關鍵點檢測主要有兩個評價指標，NME(歸一化平均誤差)和AUC(曲線下面積)。這兩個評價指標可以很好地衡量檢測結(jié)果與人工標注前的差距，但不能很好地反映模型在視頻中的表現(xiàn)。普通人臉關鍵點檢測器預測的關鍵點坐標在視頻中會出現(xiàn)很強的抖動，但是SBR訓練的人臉關鍵點檢測器結(jié)果在視頻中非常穩(wěn)定。目前沒有很好的方法來衡量這些改進，但是SBR的效果可以在演示視頻中清晰的體現(xiàn)出來。