選自arXiv

參與:佩德羅，斯諾

近日，中山大學和商湯的研究人員在arXiv上發(fā)表了一篇論文，提出了一種新型的網絡——部分分組網絡(PGN)，將病例級人體分析重新定義為兩個可以通過統(tǒng)一網絡相互學習和提高的孿生任務:1)將每個像素指定為人體部分(如人臉和手臂)的語義部分分割；2)實例感知邊緣檢測，將語義部分劃分為不同的字符實例。本研究提出了一種新的用于病例級人體分析的大規(guī)模數據集CHIP，PGN在現有的PASCAL-Person-Part和新的CIHP數據集上的性能達到了目前最好。

識別每個語義部分(如手臂、腿等。)是人體分析最基礎最重要的部分。不僅如此，它還在許多高級應用領域發(fā)揮著重要作用，如視頻監(jiān)控[38]，人類行為分析[10，22]等。

在FCN [29]的推動下，人們利用深度學習技術提取特征[37，14]，標記大量數據集[24，11]，推動基于圖模型的推理[45，3]，這在近年來人體句法分析(語義部分分割)的研究中取得了很大進展。而以往的方法只關注簡化和有限場景下的單人分析任務(如人體直立姿勢的時尚圖片[41，8，18，23，6]和各種日常圖像)，而現實生活中的場景往往在一張圖像中展示多個人體實例。這種單人分析任務極大地阻礙了人體分析在其他更具挑戰(zhàn)性的場景(如群體行為預測)中的應用。

本文試圖解決更具挑戰(zhàn)性的案例級人體分析任務，該任務不僅需要分割各種身體部位或衣服，還需要將每個部位與一個人體實例相關聯，如圖1所示。除了單人解析任務中存在的困難(如各種外觀/視點、自遮擋問題)外，案例級人體解析還面臨一些更具挑戰(zhàn)性的任務——不同圖像中的人物實例數量差異巨大，而傳統(tǒng)單人解析過程無法處理這個問題:傳統(tǒng)方法的預測空有限，只能對固定數量的人體標簽進行分類。

圖1:一個大規(guī)模的“人群實例級人體解析(CIHP)”數據集，包含38280張仔細標注的不同內容、高復雜度的多人圖像。原始圖像顯示在第一行。語義部分分割和案例級人體分析的標注分別在第二行和第三行。

最近的研究另外，在此空空白填寫之前，還沒有用于病例級人體分析研究的大規(guī)模數據集。本文介紹了一種新的大規(guī)模數據集人群實例級人體解析，它包括38280幅多人圖像和實例級19個語義部分的像素級標注。數據集做了細致的標注，重點是戶外多人場景的語義理解，如圖1所示。此外，本文還提出了一種通用的服務器基準，可以自動反饋評估結果，進行公平比較。繼續(xù)了“通過檢測進行解析”的過程[12，21，7，31，13]，該過程首先定位實例邊界框，然后對每個邊界框執(zhí)行細粒度的語義解析。然而，這種復雜的檢測和分割過程是由幾個獨立的目標和階段訓練的，這可能導致粗略定位和像素級部分分割之間的結果不一致。例如，分割模型可能錯誤地預測檢測到的邊界框之外的語義部分區(qū)域，因為它們的中間表示被拖向不同的方向。

在本研究中，我們從一個新的角度重構了案例級人體分析方法，即使用統(tǒng)一的網絡對兩個連續(xù)的片段進行分組，包括部分級像素分組和實例級部分分組。首先，部分像素分組可以通過以單個像素作為部分標簽的語義部分分割來解決。這種方法學習類特征。然后，給定一組獨立的語義部分，實例級部分分組可以根據預測的實例感知邊緣確定所有部分屬于哪個實例，其中由實例邊緣分隔的部分將被分配給不同的字符實例。這種非檢測的統(tǒng)一網絡結合了優(yōu)化的語義部分分割和實例感知的邊緣檢測，稱為零件分組網絡(PGN)，如圖4所示。

[11]

圖4:部分分組網絡(PGN)圖。給定輸入圖像，ResNet-101用于提取共享特征圖。然后加入兩個分支來捕捉人體的局部區(qū)域和邊界區(qū)域，同時生成局部評分圖和邊緣評分圖。最后，執(zhí)行細化分支，通過集成部分分割和人體邊界區(qū)域來細化預測分割圖和邊緣圖。

此外，與通過幾個獨立網絡將實例對象分割任務分解成多個子任務并采用復雜后處理的其他無提議方法[25，15，22]不同，PGN借助統(tǒng)一網絡無縫集成了部分分割和邊緣檢測模塊。它首先學習共享表示，然后添加兩個并行分支分別處理語義部分分割和實例感知邊緣檢測。由于兩個模塊通過共享同一個分組目標而保持高度相關性，PGN可以進一步集成一個細化分支，并使用互補的上下文信息使兩個目標相互受益。通過無縫地修正每個目標的錯誤，這個集成的細化方案可以很好地處理這些具有挑戰(zhàn)性的情況。如圖2所示，我們可能無法通過劃分分支來定位一個孩子，但是我們可以通過邊緣分支來成功地檢測他的位置，或者使用細化算法來校正實例邊界被錯誤標記的背景邊緣。在給定語義局部分割和實例邊緣檢測的情況下，一種有效的切割推理可以通過結合掃描分割和邊緣圖來首先搜索具有寬度的線段，并利用該結果生成實例級的人體分析結果。

圖2:2:PGN中的細化方案可以完美地校正復雜圖像的局部和邊緣誤差。第一行，分割分支無法定位小物體(比如左下角的人，右下角的手)，但邊緣分支可以成功檢測到。第二行，背景邊緣標注不正確。然而，PGN的提煉部門糾正了這些錯誤。

[16]

本文的貢獻在于:1)研究了更具挑戰(zhàn)性的案例級人體分析，拓寬了人體分析的研究邊界，使相關研究更好地應用于真實場景。2)提出了一種新的部分分組網絡(PGN)。通過將其重組為兩個雙包任務(語義部分分割和實例邊緣檢測)，可以解決統(tǒng)一網絡中的多人身體分析問題。3)為病例級人體分析構建新的大規(guī)?；鶞剩⑻峁┰敿毜臄祿治?。4)PGN超越了以往的語義部分分割和邊緣檢測方法，在現有的PASCAL-Person-Part [6]和新的CIHP數據集上的性能達到了目前最好。

論文:基于零件分組網絡的實例級人工解析

論文鏈接:https://arxiv.org/abs/1808.00157

摘要:由于缺乏足夠的數據資源和單次掃描分析多個實例的技術難度，真實人體分析場景中的病例級人體分析還沒有得到充分的研究。一些相關的研究遵循“檢測-分析”的過程，該過程嚴重依賴于單獨訓練的檢測模型來定位實例，然后依次對每個實例執(zhí)行人體分析。然而，檢測和分析的不同優(yōu)化目標導致次優(yōu)表示學習和最終結果中的誤差積累。本研究首次嘗試使用非檢測部分分組網絡(PGN)，以便僅通過一次掃描就能有效地解析單個圖像中的多個人體實例。PGN將案例級人體分析重新定義為兩個可以通過統(tǒng)一網絡共同學習、相互提高的孿生任務:1)指定每個像素作為人體部位(如人臉、手臂)的語義分割；2)實例感知邊緣檢測，將語義部分劃分為不同的字符實例。因此，共享中間表示不僅可以表征細粒度的零件，還可以推斷每個零件屬于哪個實例。最后，我們可以通過簡單的例子除法得到最終的結果。實驗是在PASCAL-Person-Part數據集上進行的，PGN優(yōu)于以往的所有方法。此外，本文還在新采集的多人分析數據集CIHP上展示了其優(yōu)勢，該數據集包含38，280幅不同的圖像，是迄今為止最大的數據集，有助于促進人體分析的進一步研究和發(fā)展。

中國惠普基準和源代碼地址:http://sysu-hcp.net/lip/

圖5:利用該方法處理實例級人體分析任務的流程圖。首先，由PGN處理，同時掃描部分分割圖和邊緣圖以創(chuàng)建水平和垂直分割線。就像連通圖問題一樣，廣度優(yōu)先搜索可以用來將線段分組為區(qū)域。此外，實例邊界附近的小區(qū)域被合并到它們的相鄰區(qū)域中，包括較大的區(qū)域和多個部分標簽。結合案例圖和部分分割圖，該過程最終輸出準確預測的案例級人體分析結果，無需任何來自目標檢測的建議。

這篇文章是為機器的核心編寫的。請聯系本微信官方賬號進行授權。