2
| 本文作者： 三川 | 2016-11-15 15:04 |
編者按：每天都有數(shù)以百萬計的圖片在互聯(lián)網(wǎng)上被分享、存儲，用戶借此探索世界，研究感興趣的話題，或者與朋友家人分享假期照片。問題是，大量的圖片要么被照相設備的像素所限制，要么在手機、平板或網(wǎng)絡限制下被人為壓縮，降低了畫質。
如今高清顯示屏正在家庭和移動設備上普及，因此，把低分辨率圖片轉化為高清版本，并可在多種設備上查看和分享，正在成為一項巨大的需求。日前，谷歌推出了一項新技術 RAISR，其全稱是“Rapid and Accurate Image Super-Resolution”，意為“快速、精確的超分辨率技術”。雷鋒網(wǎng)對此研究成果做了不改動原文的編輯，未經(jīng)許可不得轉載。
RAISR 這項技術能利用機器學習，把低分辨率圖片轉為高分辨率圖片。它的效果能達到甚至超過現(xiàn)在的超分辨率解決方案，同時速度提升大約十至一百倍，且能夠在普通的移動設備上運行。而且，谷歌的技術可以避免產(chǎn)生混疊效應 （aliasing artifacts）。
此前已經(jīng)具有通過升采樣方式，把低分辨率圖片重建為尺寸更大、像素更多、更高畫質圖片的技術。最廣為人知的升采樣方式是線性方法，即通過把已知的像素值進行簡單、固定的組合，以添加新的像素值。因為使用固定的線性過濾器（一個恒定卷積核對整個圖片的無差別處理），該方法速度很快。但是它對于重建高清作品里生動的細節(jié)有些力不從心。正如下面這張圖片，升采樣的圖片看起來很模糊，很難稱得上畫質提升。
左：原始圖片，右：升采樣處理后圖片
對于 RAISR，谷歌別辟蹊徑得采用機器學習，用一對低分辨率、高分辨率圖片訓練該程序，以找出能選擇性應用于低分辨圖片中每個像素的過濾器，這樣能生成媲美原始圖片的細節(jié)。目前有兩種訓練RAISR的方法：
第一種是“直接”方式，過濾器在成對高、低分辨率圖片中直接學習。
第二種方法需要先對低分辨率圖片應用低功耗的的升采樣，然后在升采樣圖片和高分辨率圖片的組合中學習過濾器。
“直接”方式處理起來更快，但第二種方法照顧到了非整數(shù)范圍的因素，并且更好地利用硬件性能。
無論是哪種方式，RAISR 的過濾器都是根據(jù)圖像的邊緣特征訓練的：亮度和色彩梯度，平實和紋理區(qū)域等等。這又受到方向（direction，邊緣角度），強度（strength，更銳利的邊緣強度更高）和黏性 （coherence，一項量化邊緣方向性的指標）的影響。以下是一組 RAISR 過濾器，從一萬對高、低分辨率圖片中學習得到 （低分辨率圖片經(jīng)過升采樣）。該訓練過程耗費約一小時。
注：3 倍超分辨率學習，獲得的 11x11 過濾器集合。過濾器可以從多種超分辨率因素中學習獲得，包括部分超分辨率。注意當圖中邊緣角度變化時，過濾器角度也跟著旋轉。相似的，當強度提高時，過濾器的銳利度也跟著提高；黏性提高時，過濾器的非均相性（anisotropy）也提高。
從左至右，學習得到的過濾器與處理后的邊緣方向有選擇性的呼應。舉例來說，最底一行中間的過濾器最適合強水平邊緣（90 度梯度角），并具有高粘性（直線的而非彎曲的邊緣）。如果這個水平邊緣是低對比度的，那么如同圖中最上一行，另一個過濾器就被選擇。
實際使用中，RAISR 會在已經(jīng)學習到的過濾器列表中選擇最合適的過濾器， 應用于低分辨率圖片的每一個像素周圍。當這些過濾器被應用于更低畫質的圖像時，它們會重建出相當于原始分辨率的細節(jié)，這大幅優(yōu)于線性、雙三（bicubic）、蘭索斯 （Lancos）解析方式。
上：RAISR 算法運行示例 下：原始圖像 （左），2 倍雙三解析 （中），RAISR 效果 （右）
一些運用RAISR進行圖片增強的示例：
上：原始圖片 下：RAISR 2 倍超分辨率效果
左：原始圖片 右：RAISR 3 倍超分辨率效果
超分辨率技術更復雜的地方在于如何避免混疊效應，例如龜紋 （Moire patterns）和高頻率內(nèi)容在低分辨率下渲染產(chǎn)生的鋸齒 （對圖像人為降級的情形）。這些混疊效應的產(chǎn)物會因對應部分的形狀不同而變化，并且很難消除。
左：正常圖像 右：右下角有龜紋（混疊效應）的圖像
線性方法很難恢復圖像結構，但是 RAISR 可以。下面是一個例子，左邊是低分辨率的原始圖片，左 3 和 左 5 有很明顯的空間頻率混淆（aliased spatial frequencies），而右側的 RAISR 圖像恢復了其原始結構。 RAISR 的過濾器學習方法還有一項重要的優(yōu)點：用戶可以把消除噪音以及各類壓縮算法的產(chǎn)物作為訓練的一部分。當 RAISR 被提供相應的范例后， 它可以在圖片銳化之外學會消除這些效果，并把這些功能加入過濾器。
左：有強混疊效應的原始圖片 右：RAISR 處理后效果
超分辨率技術利用不同的方法已經(jīng)有了不少喜人的進展。如今，通過把機器學習與多年來不斷發(fā)展的成像技術相結合，圖像處理技術有了長足的進步，并帶來許多好處。舉例來說，除了放大手機上的圖片，用戶還可以在低分辨率和超高清下捕捉、存儲、傳輸圖像，使用更少的移動網(wǎng)絡數(shù)據(jù)和存儲空間，而且不會產(chǎn)生肉眼能觀察到的畫質降低。
小結：自從喬幫主 2010 年在 iphone 4s 上推出“視網(wǎng)膜屏”概念之后，數(shù)碼產(chǎn)品市場開啟了一場超高清顯示革命。如今，家用顯示器逐步走向 4K，各大手機廠商也競相推出 2K 旗艦機。但 2K、4K 內(nèi)容的缺乏一直是困擾行業(yè)發(fā)展的痛點。此前的超分辨率技術受成本、硬件限制，主要應用于專業(yè)領域，未能大范圍普及。
此次谷歌 RAISR 大幅降低了圖像增強的時間成本和硬件要求，有望實現(xiàn)超分辨率技術在消費領域的應用，把充斥互聯(lián)網(wǎng)的低畫質圖片轉化為高清圖片，大幅提高視覺效果和用戶體驗。雷鋒網(wǎng)十分期待將來 RAISR 在移動設備的應用，例如把消費者手機拍攝的照片轉化為媲美單反畫質的高清美圖。
雷鋒網(wǎng)會持續(xù)跟進 RAISR 技術的發(fā)展，如需了解更多，請訪問論文原文。
推薦文章：
圖片里的人在干嘛？讓深度學習來告訴你 | 谷歌CVPR2016論文詳解
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。
