0
| 本文作者： 汪思穎 | 2018-06-21 09:40 |
雷鋒網(wǎng) AI 研習(xí)社按，在 CVPR 2018 機(jī)器學(xué)習(xí)圖像壓縮挑戰(zhàn)賽（CLIC）上，圖鴨科技?jí)嚎s團(tuán)隊(duì)獲得壓縮算法 MOS 和 MS-SSIM 值第一名的成績，這是中國企業(yè)在該賽事上取得的最高名次。（圖鴨科技憑借在 CLIC 中 MOS 和 MS-SSIM 指標(biāo)第一，在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評(píng)論旗下數(shù)據(jù)庫項(xiàng)目「AI 影響因子」中增加 10 分。）
CVPR 作為計(jì)算機(jī)視覺領(lǐng)域的全球頂級(jí)會(huì)議，其一直關(guān)注計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，為了促進(jìn)計(jì)算機(jī)視覺領(lǐng)域圖片壓縮的發(fā)展，Google 聯(lián)合 twitter、Netflix 等聯(lián)合贊助了機(jī)器學(xué)習(xí)圖像壓縮挑戰(zhàn)賽（CLIC）。本次挑戰(zhàn)賽中有來自全球各地的圖片壓縮團(tuán)隊(duì)，主要從 PSNR、MOS、MS-SSIM 這三個(gè)業(yè)界通用的圖像質(zhì)量評(píng)估（Image Quality Assessment,IQA）標(biāo)準(zhǔn)和解碼速度（評(píng)分較高的隊(duì)伍里解碼速度最快）四個(gè)方面進(jìn)行評(píng)比。
賽后，圖鴨科技圖片壓縮團(tuán)隊(duì)提交了自己關(guān)于深度學(xué)習(xí)圖片壓縮方向的論文，他們?yōu)槔卒h網(wǎng) AI 研習(xí)社撰寫了關(guān)于這篇論文的獨(dú)家解讀。
摘要：
最近機(jī)器學(xué)習(xí)的方法被廣泛應(yīng)用到有損圖像壓縮設(shè)計(jì)中，基于自編碼網(wǎng)絡(luò)的算法取得了非常好的算法性能。一個(gè)典型的基于神經(jīng)網(wǎng)絡(luò)的圖像壓縮框架包括：自編碼網(wǎng)絡(luò)結(jié)構(gòu)、量化、先驗(yàn)概率模型、碼率估計(jì)和率-失真優(yōu)化等幾個(gè)模塊。本文中我們提出了一種可用于低碼率圖像壓縮，并可進(jìn)行端到端優(yōu)化的圖像壓縮框架。在驗(yàn)證集和測(cè)試集上的實(shí)驗(yàn)結(jié)果均表明，當(dāng)使用主觀測(cè)評(píng)標(biāo)準(zhǔn)作為損失函數(shù)，在 MS-SSIM 和 MOS 等主觀性能指標(biāo)上能取得最優(yōu)的性能。
問題建模：
自編碼網(wǎng)絡(luò)的作用是將數(shù)據(jù)從圖像空間
x 轉(zhuǎn)換到數(shù)據(jù)編碼空間 y，它包含一個(gè)編碼器 fe 和解碼器 fd。編碼器的作用是將圖像像素值 x 轉(zhuǎn)換為壓縮變量 
。然后通過量化函數(shù)
，生成離散向量。然后使用算術(shù)編碼等熵編碼技術(shù)將量化后的離散數(shù)據(jù)進(jìn)行無損壓縮，然后壓縮后的比特流被用于傳輸。在接收端，接收到比特流后，然后使用解碼器從量化后的變量中重建出原圖
，碼率可用熵的結(jié)構(gòu)進(jìn)行建模
。我們可使用先驗(yàn)分布
對(duì)
進(jìn)行估計(jì)?？梢允褂脦?shù)的方式對(duì)先驗(yàn)分布進(jìn)行擬合，然后用數(shù)據(jù)驅(qū)動(dòng)的方式對(duì)先驗(yàn)概率模型進(jìn)行學(xué)習(xí)。在壓縮模型中，失真 D 能用均方誤差 
進(jìn)行表示，或使用如 MS-SSIM 之類的主觀失真進(jìn)行計(jì)算。對(duì)碼率和失真進(jìn)行加權(quán)的損失函數(shù)
用以對(duì)自編碼壓縮算法進(jìn)行端到端的優(yōu)化。在整個(gè)系統(tǒng)中，對(duì)先驗(yàn)?zāi)Ｐ?img alt="圖鴨科技 CVPR 2018 圖像壓縮挑戰(zhàn)賽奪冠，獲獎(jiǎng)?wù)撐娜庾x" src="https://static.leiphone.com/uploads/new/article/740_740/201806/5b29f650023d3.png?imageMogr2/quality/90"/>和量化的聯(lián)合優(yōu)化是設(shè)計(jì)高效壓縮算法最需要考慮的技術(shù)。
方法介紹：
(1) 編碼器和解碼器
我們的壓縮自編碼網(wǎng)絡(luò)使用了如圖 1 所示的非對(duì)稱結(jié)構(gòu)，它包括卷積和非線性單元等模塊。
圖 1：編碼器和解碼器結(jié)構(gòu)示意圖
(2) 量化：
在訓(xùn)練過程中，使用加性均勻噪聲設(shè)計(jì)量化器，表示方式為
，其中
是隨機(jī)噪聲。其中變量
的熵能用變量
的熵進(jìn)行估計(jì)，因此在測(cè)量過程中，我們能使用
作為量化操作。這樣一種方式下，也能對(duì)碼率進(jìn)行準(zhǔn)確的估計(jì)。
(3) 先驗(yàn)概率和碼率估計(jì)
自然圖像的數(shù)據(jù)分布一般被認(rèn)為是符合高斯分布，所以我們用零均值，方差表示為
的拉普拉斯分布
，對(duì)特征
的概率分布進(jìn)行建模，概率的公式如下所示：
其中設(shè)計(jì)了一個(gè)自編碼網(wǎng)絡(luò)對(duì)方差進(jìn)行學(xué)習(xí)，自編碼網(wǎng)絡(luò)的結(jié)構(gòu)如圖 2 所示
圖 2：用于方差超參數(shù)學(xué)習(xí)的自編碼網(wǎng)絡(luò)
壓縮表示
作為超參數(shù)自編碼網(wǎng)絡(luò)的輸入，對(duì)標(biāo)準(zhǔn)差分布進(jìn)行學(xué)習(xí)。在超參自編碼網(wǎng)絡(luò)中，變量 Z 的學(xué)習(xí)公式表示為
，然后使用如上介紹的方式進(jìn)行量化，量化公式為
，然后被量化后的表示可作為附加變量進(jìn)行傳輸。
圖 3：后處理算法結(jié)構(gòu)示意圖
(4) 后處理
低碼率壓縮算法重建圖最顯著的缺點(diǎn)是存在偽影，并且很多紋理細(xì)節(jié)會(huì)丟失。為了改進(jìn)在低碼率條件下重建圖的質(zhì)量，我們?cè)O(shè)計(jì)一個(gè)有效的后處理模塊，后處理模塊的具體細(xì)節(jié)如圖 3 所示。
(5) 優(yōu)化碼率控制
率-失真優(yōu)化是很多算法，如 HEVC 算法或 JPEG2000 算法中經(jīng)常使用的策略?？紤]到碼字約束，我們構(gòu)建了一個(gè)進(jìn)行碼率有效分配的優(yōu)化算法，目的是在碼率約束的條件下，為每張圖選擇最優(yōu)的模型。每張圖的最優(yōu)配置，通過優(yōu)化以下的優(yōu)化問題進(jìn)行選擇。
(6) 實(shí)驗(yàn)結(jié)果
我們的方法參加了 CVPR 2018 CLIC 圖像壓縮挑戰(zhàn)賽，在相應(yīng)的驗(yàn)證集和測(cè)試集上的結(jié)果如表 1 所示。我們的算法 tucodecTNGcnn4p 取得了 MS-SSIM 和 MOS 兩項(xiàng)指標(biāo)排名第一，算法 tucodecTNG 取得了 PSNR 指標(biāo)排名第二的成績。在驗(yàn)證集和測(cè)試集上的實(shí)驗(yàn)結(jié)果如表 1 所示。
表 1：在驗(yàn)證集和測(cè)試集上的實(shí)驗(yàn)結(jié)果
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
