0
雷鋒網(wǎng)按：截至當前，首屆「全國人工智能大賽」已經(jīng)步入了復賽階段。在初賽的「AI+4K HDR」賽項中，大賽評委采用了視頻評價的行業(yè)標準評價指標 PSNR、SSIM、VMAF 等進行了綜合打分；最終在 1.5 K 次有效提交中，選出了前 100 支晉級隊伍。
其中，由一名在讀研究生和一名算法工程師組成的團隊「Webbzhou」，榮獲了初賽中「AI+4K HDR」賽項季軍。賽后，雷鋒網(wǎng)針對晉級作品中的算法、預處理、后處理、工程設計等創(chuàng)新思路與該團隊負責人進行了探討，并將這些有益于開發(fā)者實踐操作的內(nèi)容整理如下。
「AI+4K HDR」賽項官網(wǎng)：
https://www.kesci.com/home/competition/5d84728ab1468c002ca1825a
雷鋒網(wǎng)：可以向我們簡單介紹一下你們的團隊嗎？在本次大賽中，團隊內(nèi)的分工是怎樣的呢？
Webbzhou：我們的團隊共有 2 名成員，一名是福州大學物信學院在讀研究生，而另一名是福建帝視信息科技有限公司的算法工程師。在這次大賽中，我們既有各自的分工，也有共同的合作；分工內(nèi)容主要體現(xiàn)在兩部分，其中一人負責數(shù)據(jù)處理，另一人負責算法設計；合作部分則是共同完成算法的實現(xiàn)。
雷鋒網(wǎng)：是什么原因使你們組成了「混搭」團隊，來參加「全國人工智能大賽」呢？
Webbzhou：從比賽規(guī)?？梢钥闯?，該比賽是目前國內(nèi)最頂級的人工智能賽事之一。因此，一方面，我們希望能夠通過參加此次比賽結(jié)識該領域中志同道合的朋友；另一方面，在參賽過程中還能進一步了解到該領域的前沿實況，并且在實踐中充分鍛煉自身的能力。
雷鋒網(wǎng)：既然選擇了這樣的組隊方式，那團隊在本次競賽中是否有更強的優(yōu)勢呢？
Webbzhou：正是憑借福州大學和福建帝視信息科技有限公司這樣一種校企聯(lián)合、產(chǎn)學結(jié)合的方式，我們團隊在本次參賽中獲得了技術(shù)和創(chuàng)新上的巨大優(yōu)勢。
在這樣的條件下，借助學校研究資源，我們則能夠獲得豐富的理論基礎；而借助公司平臺，我們能夠了解相關(guān)行業(yè)技術(shù)的最新發(fā)展動向以及實踐經(jīng)驗。這在整個參賽過程中，都為團隊提供了一定的優(yōu)勢。
雷鋒網(wǎng)：在整個賽題籌備過程中，團隊都做了哪些準備工作呢？
Webbzhou：我們研究方向主要是圖像/視頻增強與超分，因此我們在賽前閱讀大量的圖像/視頻處理文獻，而正是這些文獻給了我們之后的很多思路和靈感。
而在拿到數(shù)據(jù)后，我們對數(shù)據(jù)進行了抽幀、切分、清洗。然后再經(jīng)過方案設計、討論，到具體的實驗設計與分析。最終，充分考慮到權(quán)衡資源和指標/主觀效果的問題之后，我們做出了選擇 SISR 方案的決定。
雷鋒網(wǎng)：針對 AI+4K HDR 賽項，團隊是如何解讀該賽題的呢？
Webbzhou：從 AI+4K HDR 的題面來看，它包含了三個關(guān)鍵詞，這三個關(guān)鍵詞一一對應于
AI 計算機視覺近年來憑借深度學習的發(fā)展已遍地開花，在畫質(zhì)增強技術(shù)方面有了極大的進展，如 RCAN/ESRGAN/EDVR 等針對圖像視頻的超分模型一次次刷新指標的天花板。
4K 目前的視頻規(guī)格已經(jīng)從高清轉(zhuǎn)向了 4K。4K 視頻的拍攝、存儲、傳輸?shù)拇鷥r都是十分高昂的，如果能在終端將高清甚至是標清的視頻以無損畫質(zhì)的技術(shù)轉(zhuǎn)為 4K，那意味著可以在編碼傳輸過程中節(jié)省大量的帶寬成本，因此超分具有巨大的潛在商業(yè)價值。
HDR 而 HDR 可以提供更多的動態(tài)范圍和圖像細節(jié)，因此近年來 SDR 2 HDR 也成為高畫質(zhì)視頻圖像中必不可少的一個技術(shù)環(huán)節(jié)。
因此綜上所述，結(jié)合當下亟需解決的問題而言，我們對賽題的解讀則是利用 AI 畫質(zhì)增強技術(shù)，將標高清 SDR 視頻盡可能無損地轉(zhuǎn)換到 4K HDR 視頻。
雷鋒網(wǎng)：面對當前的 AI+4K HDR 形勢，你們認為可以從哪些方面實現(xiàn)改進與突破呢？
Webbzhou：從目前看來，NAS（網(wǎng)絡結(jié)構(gòu)搜索）可能會是今后發(fā)展?jié)摿^大的一方向，它可以通過定向搜索提高網(wǎng)絡神經(jīng)網(wǎng)絡性能并降低功耗，加快 AI+4K HDR 的服務端乃至終端的部署。
另外，有監(jiān)督向半監(jiān)督或無監(jiān)督方向的轉(zhuǎn)變也可能會是之后的發(fā)展趨勢。這樣的改變能夠?qū)⒄鎸崍鼍暗颓鍞?shù)據(jù)分布轉(zhuǎn)向非成對的高清數(shù)據(jù)分布，不僅可直接利用互聯(lián)網(wǎng)海量真實數(shù)據(jù)且不引入人為退化方法的干擾，而且還可以使真實場景落地算法具有更強的多樣性、魯棒性。
雷鋒網(wǎng)：針對該賽道的比賽，團隊的在實際設計中都做了哪些嘗試？
Webbzhou：鑒于初賽的主要任務是去噪和超分，我們嘗試了兩種方案。包括：先去噪后超分，去噪和超分 end-to-end 聯(lián)合訓練。
但最后的實驗表明，兩者所達到的效果差距不大。因此，我們最終選用了更簡單便捷的 end-to-end 方案。
雷鋒網(wǎng)：在作品的設計與后處理方面，你們的核心思路是什么呢？
Webbzhou：初賽中，我們所面臨的主要問題在于數(shù)據(jù)量過大、抽取的視頻幀較多，尤其是在讀取 4K 的圖片時，會占用大量 IO，同時也會影響到解碼的速度。
因此我們將抽取到的幀進行了數(shù)據(jù)切分。我們將這些數(shù)據(jù)切成了很多小塊，這樣處理之后能夠大大加速訓練時的讀取時間。
同時，考慮到計算資源和精度問題，我們采用了 SISR 的方法來進行處理。當然，平衡主觀質(zhì)量和評價指標也是一大問題，在實際操作中，我們則是通過大量的實驗，最終采用了主觀質(zhì)量和評價指標一致良好的數(shù)據(jù)方案。
雷鋒網(wǎng)：除了 AI+4K HDR 相關(guān)技術(shù)，參賽作品中還用到了哪些值得其它團隊借鑒的技術(shù)嗎？
Webbzhou：初賽階段，我們主要采用傳統(tǒng) CV 和 AI 結(jié)合的方案，這樣的方案能夠提高 AI 的可解釋性，更便于理解。
而在訓練網(wǎng)絡過程中，我們采用到了一些常用的技巧，比如：驗證集評估指標及輸出可視化，監(jiān)視訓練過程讓訓練朝著我們的目標方向前，經(jīng)過調(diào)優(yōu)的初始化及優(yōu)化策略等方法。
雷鋒網(wǎng)：在你看來，團隊的獲獎作品都有哪些創(chuàng)新點呢？
Webbzhou：初賽階段我們采用對 SISR 中的 RIRB 及 RRDB 模型進行了相應的優(yōu)化，在計算力一定的情況下，提升了評價指標。同時，針對賽題的評價指標，我們修正了現(xiàn)有的 loss 使得效果明顯提升。
而從算法優(yōu)化來看，我們主要的創(chuàng)新是在 loss 設計部分。在整個比賽過程中，我們一直都認為解決好一個問題的關(guān)鍵在于抓住問題的本質(zhì)；而這 loss 部分恰好就是一個好的優(yōu)化目標。這一目標最終所體現(xiàn)在作品中的效果，甚至比采用好的優(yōu)化算法要更為關(guān)鍵。
雷鋒網(wǎng)：如果參賽選手要想在賽事中取得優(yōu)秀的成績，有哪些要點值得選手們參考呢？
Webbzhou：我們認為首先要善于發(fā)現(xiàn)問題和解決問題。初賽中，我們通過抽樣觀看視頻，發(fā)現(xiàn)數(shù)據(jù)中很多干擾的數(shù)據(jù)，因此我們對數(shù)據(jù)進行了清洗。其次，作為參賽選手，需要有對實驗結(jié)果認真分析和思考總結(jié)的能力，要善于從大量文獻中找到可行解并進行優(yōu)化。
雷鋒網(wǎng)：在比賽中是否有目前遇到無法解決的問題？你認為目前突破該技術(shù)難點的關(guān)鍵在哪呢？
Webbzhou：對于超分任務，低清圖的高頻信息損失比較嚴重。我們認為在主觀效果提升方面，GAN 進行適量調(diào)整可能是一個突破口。
雷鋒網(wǎng)：能否結(jié)合團隊每位成員的參賽經(jīng)歷和我們談談參加比賽對于個人成長有哪些幫助？你認為這一比賽對開發(fā)者最大的鍛煉體現(xiàn)在哪里？
Webbzhou：在初賽過程中，雖然命題只包含降噪和超分任務，但視頻退化比學術(shù)領域研究甚至實際生活的內(nèi)容要復雜很多，它涉及到了更多噪聲的融合，因此這給了我們一個很好的鍛煉機會，讓我們能夠接觸到更加復雜的場景問題，豐富了我們的閱歷。
在這個過程中，我們在分析問題和解決問題方面有了很大的進步，也能更好的將理論轉(zhuǎn)化為實踐輸出，而且在團隊合作上，也有了更好的交流溝通能力。除此之外，大賽也幫助我們更精準的發(fā)現(xiàn)自身不足，使得我們在今后的學習和工作中，能夠更有效的提高自身的能力。
更多信息，關(guān)注大賽官網(wǎng)：
雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
