原始資料來源:arXiv

《湖世界》編譯:嗯~阿童木，朵拉A亮

最近，我們研究了有損圖像壓縮的深層體系結(jié)構(gòu)設(shè)計，然后在多級漸進編碼器的背景下提出了兩種體系結(jié)構(gòu)方法，并通過經(jīng)驗證明了它們在壓縮性能方面的重要性。具體而言，研究結(jié)果表明:(1)多級漸進結(jié)構(gòu)中原始圖像數(shù)據(jù)的殘差預(yù)測便于學(xué)習(xí)，并且在逼近原始內(nèi)容時導(dǎo)致性能的提高；(b)在執(zhí)行壓縮之前(從相鄰圖像像素)學(xué)習(xí)修復(fù)可以減少必須存儲的信息，從而實現(xiàn)高質(zhì)量的近似。如果將這些設(shè)計選擇組合成一個參考漸進編碼器，與原來的殘差編碼器相比，文件大小平均減少了60%以上，質(zhì)量相當(dāng)。

可以說，我們每天在網(wǎng)絡(luò)上創(chuàng)建和共享的大部分信息都是可視化數(shù)據(jù)，這就產(chǎn)生了對存儲和網(wǎng)絡(luò)帶寬的巨大需求。按照以往的習(xí)慣，只要內(nèi)容沒有明顯的丟失，就要盡可能的壓縮圖像數(shù)據(jù)。近年來，隨著深度學(xué)習(xí)的快速發(fā)展和廣泛使用，設(shè)計用于學(xué)習(xí)圖像數(shù)據(jù)的緊湊表示的深度模型成為可能?；谏疃葘W(xué)習(xí)的方法，如Rippel和Bourdev，在性能上優(yōu)于傳統(tǒng)的有損圖像壓縮方法。在本文中，我們展示了如何提高用于訓(xùn)練有損圖像壓縮的深度模型的性能。

我們專注于生成漸進式代碼的模型設(shè)計。漸進碼是一組表示序列，可以通過添加缺失的細節(jié)來傳輸，以提高現(xiàn)有估計的質(zhì)量(根據(jù)先前傳輸?shù)拇a)。這與非逐行編碼形成對比，在非逐行編碼中，必須傳輸特定質(zhì)量近似值的全部數(shù)據(jù)，然后才能查看圖像。漸進式代碼通過減少圖像豐富的頁面的加載時間來改善用戶的瀏覽體驗。本文主要研究成果包括以下兩個方面:

1.盡管傳統(tǒng)的漸進編碼器被優(yōu)化以壓縮其結(jié)構(gòu)的每一級的剩余輸入(剩余輸出),但是我們提出了一種模型，該模型被訓(xùn)練以預(yù)測每一級的前一級的剩余輸入(剩余輸出)的原始圖像數(shù)據(jù)。研究結(jié)果表明，它將更容易優(yōu)化和產(chǎn)生更好的圖像壓縮。與傳統(tǒng)的殘差編碼器相比，最終的架構(gòu)將再現(xiàn)類似質(zhì)量圖像所需存儲的信息量減少了18%。

2.現(xiàn)有的深度體系結(jié)構(gòu)沒有利用由相鄰面片顯示的空的高度空間一致性。我們展示了如何通過學(xué)習(xí)現(xiàn)有內(nèi)容中的修復(fù)來設(shè)計和訓(xùn)練一個可以利用相鄰區(qū)域之間的依賴關(guān)系的模型。我們引入多尺度卷積，對內(nèi)容進行多尺度采樣以輔助恢復(fù)。我們訓(xùn)練了提出的修復(fù)和壓縮模型，結(jié)果顯示修復(fù)將必須存儲的信息量減少了42%。

補救的影響

我們開始分析修復(fù)網(wǎng)絡(luò)和其他方法在本地環(huán)境中的性能。我們將修復(fù)網(wǎng)絡(luò)的性能與傳統(tǒng)方法和基于學(xué)習(xí)的基線進行比較。表1顯示了在修復(fù)柯達數(shù)據(jù)集中所有不重疊的補丁時，通過每種方法獲得的平均結(jié)構(gòu)相似性(SSIM)。

表1:1:柯達數(shù)據(jù)集部分上下文修補的平均SSIM。香草模型是一種沒有多尺度卷積的前饋卷積神經(jīng)網(wǎng)絡(luò)。

香草網(wǎng)絡(luò)對應(yīng)于32層(是修復(fù)網(wǎng)絡(luò)的4倍)模型，它不使用多尺度卷積(所有濾波器的擴展因子為1)，具有相同數(shù)量的參數(shù)，并以全分辨率運行(如我們的修復(fù)網(wǎng)絡(luò))。這表明修復(fù)網(wǎng)絡(luò)在香草模型上的性能提高是使用多尺度卷積的結(jié)果。修復(fù)網(wǎng)絡(luò)改進了傳統(tǒng)的方法，因為我們的模型學(xué)習(xí)了傳播內(nèi)容的最佳策略，而不是使用人工傳播的內(nèi)容傳播原理。香草網(wǎng)絡(luò)的低性能表明自學(xué)習(xí)并不優(yōu)于傳統(tǒng)方法，多尺度卷積在實現(xiàn)更好的性能方面起著關(guān)鍵作用。

圖1:(一)不同形式恢復(fù)的平均儲蓄率。每種擬議方法在不同比特率下的圖像質(zhì)量。

由于復(fù)原提供了這一部分的初步估計，它永遠不會產(chǎn)生完美的重建。這就引出了這個初始估計是否比沒有估計好的問題。圖1(a)中的表顯示了有壓縮和無修復(fù)的壓縮任務(wù)的性能。這些結(jié)果表明，當(dāng)用R2I模型訓(xùn)練修復(fù)網(wǎng)絡(luò)時，文件大小減少最多。我們注意到(從圖1(b))在較低和較高比特率下獲得的結(jié)果質(zhì)量通過修復(fù)得到了極大的改善。

為了強調(diào)聯(lián)合訓(xùn)練的作用，引入了修復(fù)網(wǎng)和壓縮網(wǎng)分開訓(xùn)練的基線。傳統(tǒng)編碼器采用簡單的基于非學(xué)習(xí)的修復(fù)方法，其預(yù)定的表示方法不能緊湊地編碼修復(fù)殘差。學(xué)會單獨修復(fù)會提高性能，因為修復(fù)后的估計比完全沒有估計要好。然而，考慮到壓縮模型沒有被訓(xùn)練來優(yōu)化壓縮殘差，為了實現(xiàn)高質(zhì)量水平，比特率被降低很少。我們表明，通過聯(lián)合訓(xùn)練，不僅可以訓(xùn)練出更好的修復(fù)模型，而且可以保證修復(fù)殘差能夠被緊湊地表達。

表2:與JPEG相比的平均儲蓄率?？逻_數(shù)據(jù)集計算的節(jié)省量是在0-1 bpp范圍內(nèi)測量MS-SSIM的率失真曲線。

結(jié)論和今后的工作

我們研究了一類“殘差到圖像”模型，表明在這類模型中，具有解碼連接的體系結(jié)構(gòu)比使用其他連接形式的設(shè)計更能逼近圖像數(shù)據(jù)。我們觀察到，我們的R2I解碼連接模型在低比特率下表現(xiàn)不佳，我們展示了如何通過修復(fù)相鄰塊之間的空相干性來提高在低比特率下近似圖像內(nèi)容的性能。我們使用多尺度卷積設(shè)計了一個新的部分上下文修復(fù)模型，并證明了補充修復(fù)的最好方法是使用我們的R2I解碼模型來聯(lián)合訓(xùn)練修復(fù)網(wǎng)絡(luò)。

這項工作的一個有趣的擴展是將熵編碼結(jié)合到我們的漸進壓縮框架中，以便訓(xùn)練產(chǎn)生低熵二進制代碼的模型，并且可以更緊湊地表達。另一個可能的方向是將我們提出的框架擴展到視頻數(shù)據(jù)，我們發(fā)現(xiàn)改進的壓縮方法可能會獲得更多。

論文下載:https://arxiv.org/pdf/1709.08855.pdf