谷歌超分辨率技術(shù) RAISR ：模糊圖片瞬變高清，速度提升數(shù)十倍

本文作者：三川

2016-11-15 15:04

導(dǎo)語(yǔ)：谷歌推出基于機(jī)器學(xué)習(xí)的超分辨率技術(shù) RAISR，比現(xiàn)有的圖像銳化及圖像增強(qiáng)技術(shù)提高數(shù)十倍處理速度。

編者按：每天都有數(shù)以百萬(wàn)計(jì)的圖片在互聯(lián)網(wǎng)上被分享、存儲(chǔ)，用戶(hù)借此探索世界，研究感興趣的話(huà)題，或者與朋友家人分享假期照片。問(wèn)題是，大量的圖片要么被照相設(shè)備的像素所限制，要么在手機(jī)、平板或網(wǎng)絡(luò)限制下被人為壓縮，降低了畫(huà)質(zhì)。

如今高清顯示屏正在家庭和移動(dòng)設(shè)備上普及，因此，把低分辨率圖片轉(zhuǎn)化為高清版本，并可在多種設(shè)備上查看和分享，正在成為一項(xiàng)巨大的需求。日前，谷歌推出了一項(xiàng)新技術(shù) RAISR，其全稱(chēng)是“Rapid and Accurate Image Super-Resolution”，意為“快速、精確的超分辨率技術(shù)”。雷鋒網(wǎng)對(duì)此研究成果做了不改動(dòng)原文的編輯，未經(jīng)許可不得轉(zhuǎn)載。

RAISR 這項(xiàng)技術(shù)能利用機(jī)器學(xué)習(xí)，把低分辨率圖片轉(zhuǎn)為高分辨率圖片。它的效果能達(dá)到甚至超過(guò)現(xiàn)在的超分辨率解決方案，同時(shí)速度提升大約十至一百倍，且能夠在普通的移動(dòng)設(shè)備上運(yùn)行。而且，谷歌的技術(shù)可以避免產(chǎn)生混疊效應(yīng) （aliasing artifacts）。

此前已經(jīng)具有通過(guò)升采樣方式，把低分辨率圖片重建為尺寸更大、像素更多、更高畫(huà)質(zhì)圖片的技術(shù)。最廣為人知的升采樣方式是線(xiàn)性方法，即通過(guò)把已知的像素值進(jìn)行簡(jiǎn)單、固定的組合，以添加新的像素值。因?yàn)槭褂霉潭ǖ木€(xiàn)性過(guò)濾器（一個(gè)恒定卷積核對(duì)整個(gè)圖片的無(wú)差別處理），該方法速度很快。但是它對(duì)于重建高清作品里生動(dòng)的細(xì)節(jié)有些力不從心。正如下面這張圖片，升采樣的圖片看起來(lái)很模糊，很難稱(chēng)得上畫(huà)質(zhì)提升。谷歌超分辨率技術(shù) RAISR ：模糊圖片瞬變高清，速度提升數(shù)十倍

左：原始圖片，右：升采樣處理后圖片

對(duì)于 RAISR，谷歌別辟蹊徑得采用機(jī)器學(xué)習(xí)，用一對(duì)低分辨率、高分辨率圖片訓(xùn)練該程序，以找出能選擇性應(yīng)用于低分辨圖片中每個(gè)像素的過(guò)濾器，這樣能生成媲美原始圖片的細(xì)節(jié)。目前有兩種訓(xùn)練RAISR的方法：

第一種是“直接”方式，過(guò)濾器在成對(duì)高、低分辨率圖片中直接學(xué)習(xí)。
第二種方法需要先對(duì)低分辨率圖片應(yīng)用低功耗的的升采樣，然后在升采樣圖片和高分辨率圖片的組合中學(xué)習(xí)過(guò)濾器。
“直接”方式處理起來(lái)更快，但第二種方法照顧到了非整數(shù)范圍的因素，并且更好地利用硬件性能。

無(wú)論是哪種方式，RAISR 的過(guò)濾器都是根據(jù)圖像的邊緣特征訓(xùn)練的：亮度和色彩梯度，平實(shí)和紋理區(qū)域等等。這又受到方向（direction，邊緣角度），強(qiáng)度（strength，更銳利的邊緣強(qiáng)度更高）和黏性（coherence，一項(xiàng)量化邊緣方向性的指標(biāo)）的影響。以下是一組 RAISR 過(guò)濾器，從一萬(wàn)對(duì)高、低分辨率圖片中學(xué)習(xí)得到（低分辨率圖片經(jīng)過(guò)升采樣）。該訓(xùn)練過(guò)程耗費(fèi)約一小時(shí)。