雷鋒網(wǎng)1月26日消息  據(jù)外媒 The Verge 報(bào)道， Twitter 昨日發(fā)布博客稱(chēng)，其正在使用神經(jīng)網(wǎng)絡(luò)來(lái)自動(dòng)裁剪圖片、生成預(yù)覽縮略圖，從而讓用戶(hù)可以預(yù)覽到他們最感興趣的部分。

圖/The Verge

據(jù)了解，該公司一直在研究這個(gè)工具，機(jī)器學(xué)習(xí)研究員 Lucas Theis 和機(jī)器學(xué)習(xí)主管汪澤涵（Zehan Wang）還在博客里詳細(xì)描述了這個(gè)方法。雷鋒網(wǎng)了解到，汪澤涵此前曾是倫敦機(jī)器學(xué)習(xí)和視覺(jué)處理技術(shù)開(kāi)發(fā)商 Magic Pony Technology （MPT）的聯(lián)合創(chuàng)始人。2016年6月，Twitter 花費(fèi)巨資將 MPT 收入麾下，隨后王澤漢也加入 Twitter 任職機(jī)器學(xué)習(xí)主管。

經(jīng) Theis 和汪澤涵介紹，一開(kāi)始他們僅用面部識(shí)別技術(shù)來(lái)裁剪面部圖像，但是后來(lái)他們發(fā)現(xiàn)這項(xiàng)技術(shù)并不適用于風(fēng)景圖像，尤其是圖片中有貓的時(shí)候，因?yàn)?Twitter 總是會(huì)顯示圖像中心，這時(shí)出現(xiàn)在預(yù)覽圖里的可能就是一只喵星人的脖子。

就此，他們提出的解決方案是“使用顯著性裁剪”（這里的“顯著性”即代表圖片中最有趣的區(qū)域——不管是面部還是其他事物）。經(jīng)研究表明，在一張圖片里，人們往往最關(guān)注面部、文字、動(dòng)物和色彩對(duì)比度最高的區(qū)域。為了定義好這一點(diǎn)，他們將學(xué)術(shù)研究中的數(shù)據(jù)運(yùn)用到眼球追蹤里，從而以紀(jì)錄人們首先看到的圖像區(qū)域。 Theis 和汪澤涵在博客中寫(xiě)道：

“這些數(shù)據(jù)可以用來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)和其他算法，從而以預(yù)測(cè)人們可能會(huì)想看到的部分或內(nèi)容?！?/p>

圖/The Verge

在這一技術(shù)下，他們研究的這一神經(jīng)網(wǎng)絡(luò)可以在很短的時(shí)間內(nèi)找到照片中最有趣的部分，用戶(hù)在上傳照片時(shí)也就不會(huì)發(fā)現(xiàn)延遲。當(dāng)然，這一過(guò)程少不了對(duì)神經(jīng)網(wǎng)絡(luò)的優(yōu)化。

另外，軟件工程師還使用了一種名為“知識(shí)精煉（knowledge distillation）”的技術(shù)來(lái)訓(xùn)練算法，從而可快速估算照片中最顯著的部分。雖然其可能需要很長(zhǎng)時(shí)間才能做出微調(diào)的像素級(jí)預(yù)測(cè)，但 Twitter 的神經(jīng)網(wǎng)絡(luò)可以提供快速而又更加相似的版本，從而讓用戶(hù)可以準(zhǔn)時(shí)預(yù)覽照片。

對(duì)他們來(lái)說(shuō)，最幸運(yùn)的是——照片預(yù)覽所需的剪裁非常寬泛，只需將圖像縮小到最有趣區(qū)域的三分之一，最終的結(jié)果是可得到速度比原先快 10 倍的神經(jīng)網(wǎng)絡(luò)。

該功能目前正面向所有的 Twitter 用戶(hù)（包括PC、iOS和Android用戶(hù)）推出，其目的在于取代之前笨拙的預(yù)覽縮略圖。所以，下次如果你在Twitter上看到一個(gè)照片預(yù)覽并邀請(qǐng)你點(diǎn)擊時(shí)，記得感謝一下神經(jīng)網(wǎng)絡(luò)的魔力。

注：題圖來(lái)源于ixdc；Via The Verge，雷鋒網(wǎng)編譯

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。