ai科技評論:作者陳凱，這篇文章最早發(fā)表在知乎，雷鋒的AI科技評論被授權(quán)轉(zhuǎn)載。

前言

進(jìn)入圖像物體檢測的坑大概有一年了，至少短期內(nèi)還會留在坑里，還拉著搭檔入坑。值此新的(吉)、(許)和(班)節(jié)之際，我打算介紹一些已經(jīng)完成的工作，并寫下我對這一領(lǐng)域的理解。另外，如果有空，我也來說說mmdetection的設(shè)計(jì)和實(shí)現(xiàn)。

作為開始，讓我們來談?wù)勛钤玳_始的項(xiàng)目“引導(dǎo)錨定的區(qū)域提案”/>

總結(jié)

我們提出了一種新的錨生成方法——引導(dǎo)錨，即通過圖像特征來引導(dǎo)錨的生成。通過預(yù)測錨的位置和形狀，生成稀疏的任意錨，并設(shè)計(jì)特征自適應(yīng)模塊來修改特征圖以更好地匹配錨的形狀。以ResNet-50-FPN為骨干，Guided Anchoring將RPN的召回率(AR@1000)提高了9.1個點(diǎn)，用于不同的物體檢測器時，可以將map提高1.2到2.7個點(diǎn)。

下圖顯示了我們的方法與傳統(tǒng)RPN的性能和速度比較，可以看出它明顯優(yōu)于傳統(tǒng)RPN。

以下結(jié)果應(yīng)用于不同的檢測方法，主干是ResNet-50-FPN。

背景

錨是目標(biāo)檢測中的一個重要概念，通常是一組人工設(shè)計(jì)的框架，作為分類和包圍盒回歸的參考框架。錨廣泛用于單級和兩級探測器。例如，兩級檢測器的第一級通常使用RPN生成建議，這是一個對錨進(jìn)行分類和回歸的過程，即錨->建議->；檢測bbox大多數(shù)單級檢測器直接對anchor進(jìn)行分類回歸，即anchor->:檢測bbox。

一種常見的生成錨點(diǎn)的方法是滑動窗口，即首先定義k個具有特定比例和縱橫比的錨點(diǎn)，然后以一定的步長在整個圖上滑動。該方法廣泛應(yīng)用于fast R-CNN、SSD、RetinaNet等經(jīng)典檢測方法中。

動力

滑動窗口生成錨點(diǎn)的方法簡單可行，但并不完美，不然也就沒紙可談了。首先，錨的尺度和長寬比需要提前定義，這是一個對性能影響很大的超級參數(shù)，需要針對不同的數(shù)據(jù)集和方法獨(dú)立調(diào)整。如果比例和長寬比設(shè)置不當(dāng)，召回率可能不夠高，或者錨太多可能會影響分類性能和速度。一方面，大部分錨點(diǎn)分布在背景區(qū)域，不會對提議或檢測產(chǎn)生任何正面影響；另一方面，預(yù)定義的錨定形狀可能不滿足具有極端尺寸或?qū)捀弑鹊膶ο?。所以我們期待的是一個可以根據(jù)位置改變形狀的稀疏錨。

制劑

首先，我們思考錨是如何產(chǎn)生的。我們通常用四個數(shù)字(x，y，w，h)來描述一個錨點(diǎn)，即中心點(diǎn)的坐標(biāo)和寬度、高度。我們將錨的分布表述為以下公式:

錨的概率分布分解為兩個條件概率分布，即給定圖像特征后錨中心點(diǎn)的概率分布和給定圖像特征和中心點(diǎn)后的形狀概率分布，這就是論文題目中的引導(dǎo)錨定的由來?；瑒哟翱梢暈榫鶆蚍植迹珜儆诿}沖函數(shù)的特例。

根據(jù)上述公式，錨的生成過程可以分為兩個步驟，錨位預(yù)測和形狀預(yù)測。在這個看似簡單的公式中，我們走過了一些彎路，討論了一些奇怪的方法，最終發(fā)現(xiàn)了通往簡單的道路。

方式

如圖所示，基于原始RPN的特征圖，我們使用兩個分支分別預(yù)測錨的位置和形狀，然后將它們組合起來得到錨。然后，使用特征適配模塊來調(diào)整錨特征，并且獲得新的特征圖用于以后的預(yù)測(錨的分類和回歸)。整個方法可以進(jìn)行端到端訓(xùn)練，與以前的方法相比，只增加了3個1x1 conv和1個3x3可變形conv，模型參數(shù)變化不大。

位置預(yù)測

位置預(yù)測分支的目標(biāo)是預(yù)測哪些區(qū)域應(yīng)該作為中心點(diǎn)來生成錨點(diǎn)，這是一個二元分類問題。不同于RPN或者分割的分類，這里我們不預(yù)測每個點(diǎn)是前景還是背景，而是預(yù)測它是否是物體的中心。

整個要素圖區(qū)域分為對象中心區(qū)、外圍區(qū)和忽略區(qū)。總體思路是在特征圖對應(yīng)的地面真值框中心標(biāo)記一小塊區(qū)域作為物體中心區(qū)域，訓(xùn)練時作為正樣本，其他區(qū)域根據(jù)距離中心的距離標(biāo)記為忽略或負(fù)樣本。具體設(shè)計(jì)在論文里說的很清楚。通過位置預(yù)測，我們可以選擇一小部分區(qū)域作為錨的候選中心點(diǎn)位置，大大減少了錨的數(shù)量。在靈感的時候，預(yù)測好位置后，可以用蒙面的conv代替普通的conv，只在有錨的地方計(jì)算，這樣可以加速。

形狀預(yù)測

形狀預(yù)測分支的目標(biāo)是預(yù)測給定錨點(diǎn)中心點(diǎn)的最佳長度和寬度，這是一個回歸問題。當(dāng)然，按照慣例，首先計(jì)算目標(biāo)，即中心點(diǎn)錨的最優(yōu)w和h，然后用L1/L2/光滑L1損失來監(jiān)督。但是這個東西的目標(biāo)不好計(jì)算，而且會很難實(shí)現(xiàn)，所以我們直接用IoU作為監(jiān)督者來學(xué)習(xí)w和h，既然不能計(jì)算出最優(yōu)的w和h，而計(jì)算IoU又是一個可導(dǎo)的運(yùn)算，那就讓網(wǎng)絡(luò)自己優(yōu)化，使IoU最大化。后來我們切換到有界IoU Loss，但是原理是一樣的。

還有一個問題，就是對于一個主播來說，應(yīng)該用哪個地真來優(yōu)化IoU，也就是說應(yīng)該給主播分配哪個地真。對于之前的常規(guī)錨，我們可以直接計(jì)算它的IoU和所有地面真值，然后分配給IoU最大的gt。不幸的是，錨的w和h是不確定的，需要預(yù)測。我們將此錨和gt的IoU表示為

當(dāng)然，我們不可能真的遍歷所有可能的W和H，然后得到IoU的最大值，所以我們采用近似的方法，即對一些可能的W和H進(jìn)行采樣，理論上，采樣越多，逼近效果越好。但是為了效率，我們采樣了9組常見的W和h，通過實(shí)驗(yàn)發(fā)現(xiàn)最終的結(jié)果對樣本組數(shù)并不敏感，也就是說不管樣本組數(shù)多少，近似效果就足夠了。

生成錨點(diǎn)

預(yù)測好錨點(diǎn)位置和中心點(diǎn)后，我們就可以生成錨點(diǎn)了，如下圖所示。這時候主播稀疏，每個位置都不一樣。用生成的錨點(diǎn)代替滑動窗口，AR (Average Recall)可以超過普通RPN 4個點(diǎn)，成本只增加2個1x1 conv。

特征適應(yīng)

故事本可以到此結(jié)束。我們用生成的錨點(diǎn)和之前的特征圖對錨點(diǎn)進(jìn)行分類回歸，讓我們很開心。但是，我們發(fā)現(xiàn)了一個不合理的地方。我們都是同一層conv的特征。為什么我能比別人強(qiáng)，代表一個又長又大的主播，而你只能代表一個小主播？

一方面，不合理的原因在于conv同一層不同位置的接收特征場是相同的。在最初的RPN中，每個人都代表相同形狀的錨，所以他們很平靜。但現(xiàn)在每個錨都有自己獨(dú)特的形狀和大小，所以它并不特別匹配功能。另一方面，對于原始的特征圖，它并不知道形狀預(yù)測分支預(yù)測的錨點(diǎn)形狀，但是下面的分類和回歸都是基于預(yù)測的錨點(diǎn)，可能比較困難。

我們添加了一個功能適配模塊來解決這個問題。思路很簡單，就是把錨點(diǎn)的形狀信息直接集成到特征圖中，這樣新的特征圖就可以適應(yīng)錨點(diǎn)在各個位置的形狀。我們使用一個3×3的可變形卷積來修改原始特征圖，可變形卷積的偏移量通過錨的w和h的1×1 conv來獲得。(重點(diǎn)要放在這里。如果像正?？勺冃尉矸e那樣通過特征圖來預(yù)測偏移，則改進(jìn)是有限的，因?yàn)闆]有實(shí)現(xiàn)根據(jù)錨形狀進(jìn)行適應(yīng)的效果。)

通過這種操作，特征的有效范圍更接近錨的形狀，同一conv的不同位置也可以表示不同形狀和大小的錨。從表中可以看出，功能適配仍然非常強(qiáng)大，帶來了近五個點(diǎn)的改進(jìn)。

打開高質(zhì)量建議書的正確方法

事實(shí)上，故事可以到此結(jié)束，但是我們遇到了和以前一些改進(jìn)提案的論文一樣的問題，就是提案的質(zhì)量提高了很多(如下圖所示)，但是對檢測器的性能提升有限。在不同的檢測模型上，使用導(dǎo)向錨定可以提高大約一個點(diǎn)。明明有很好的提議，但是mAP沒有漲很多，讓人很不舒服。

經(jīng)過一番研究，我們發(fā)現(xiàn)以下兩點(diǎn):1。減少提案數(shù)量；2.訓(xùn)練時提高陽性樣本的IoU閾值(這個比較重要)。既然top300有很多IoU高的提案，為什么還要用1000幀來訓(xùn)練測試呢？既然提案都這么優(yōu)秀，那么把IoU標(biāo)準(zhǔn)變得更嚴(yán)格也不是沒有道理。

這種正確的開場方式基本上是齊家獨(dú)立轉(zhuǎn)移的，讓表演看起來好多了。通過這兩個改進(jìn)，fast R-CNN上的上升點(diǎn)瞬間提高到了2.7點(diǎn)(沒有任何招數(shù))，其他方法也有了很大的改進(jìn)。

論錨栓設(shè)計(jì)標(biāo)準(zhǔn)

我們在論文中提到了錨設(shè)計(jì)的兩個標(biāo)準(zhǔn)，對齊和一致性。對齊是指錨點(diǎn)的中心點(diǎn)應(yīng)與特征的位置對齊，一致性是指錨點(diǎn)的特征應(yīng)與形狀匹配。

Alignment

由于每個錨點(diǎn)都是由要素圖上的一個點(diǎn)來表示的，所以最好將錨點(diǎn)定在該點(diǎn)的中心，否則，如果位置偏移，則該點(diǎn)的要素將不會很好地對應(yīng)于錨點(diǎn)，使用該特征來預(yù)測錨點(diǎn)的分類和回歸將是有問題的。我們設(shè)計(jì)了一個類似級聯(lián)/迭代RPN的實(shí)驗(yàn)來證明這一點(diǎn)。主播退步了兩次。第一次回歸采用常規(guī)方法，即對中心點(diǎn)和長寬進(jìn)行回歸，使得第一次回歸后，錨點(diǎn)中心點(diǎn)和特征圖每個像素的中心不再完全對齊。我們發(fā)現(xiàn)這兩種倒退促銷非常有限。所以在形狀預(yù)測的分支中，我們只預(yù)測W和H，不返回中心位置。

Consistency

這個標(biāo)準(zhǔn)是設(shè)計(jì)特征自適應(yīng)的初衷。由于每個位置的錨點(diǎn)形狀不同，破壞了特征的一致性，因此需要通過特征自適應(yīng)進(jìn)行校正。這個準(zhǔn)則本質(zhì)上是關(guān)于如何準(zhǔn)確提取錨點(diǎn)特征的討論。對于兩級檢測器的第二級，我們可以通過RoI池或RoI對齊來準(zhǔn)確提取RoI的特征。但是對于RPN或者單級檢測器的錨點(diǎn)，由于數(shù)量巨大，我們無法用這種笨重的方法準(zhǔn)確匹配特征和幀，或者只能用特征圖上的一個點(diǎn)，也就是一個512x1x1的向量。那么特征適配(Feature Adaption)就起到了使特征和錨點(diǎn)之間的對應(yīng)關(guān)系更加準(zhǔn)確的作用，這種設(shè)計(jì)在其他地方也可以借鑒。

總結(jié)

在 anchor 設(shè)計(jì)中，alignment 和 consistency 這兩個準(zhǔn)則十分重要。采用兩個 branch 分別預(yù)測 anchor 的位置和形狀，不需要預(yù)先定義。利用 anchor 形狀來 adapt 特征圖。高質(zhì)量 proposal 可以使用更少的數(shù)量和更高的 IoU 進(jìn)行訓(xùn)練。即插即用，無縫替換。

關(guān)于代碼

預(yù)計(jì)將于3月底或4月的某個時候在MM Detection(https://github.com/open-mmlab/mmdetection)發(fā)布。歡迎觀看。

Arxiv鏈接

https://arxiv.org/abs/1901.03278