雷鋒網(wǎng) AI 研習(xí)社按，旅行或出差，訂酒店是必要步驟，隨著線上預(yù)訂越來越普及，對 OTA（Online Travel Agent）行業(yè)提出不少挑戰(zhàn)。作為我國 OTA 領(lǐng)軍企業(yè)，攜程擁有全球百萬家酒店數(shù)以億計的圖像，面對海量圖像，如何挖掘出圖像信息，節(jié)省成本，為用戶和酒店創(chuàng)造價值，這些都是亟待解決的問題。

攜程酒店研發(fā)部圖像技術(shù)負(fù)責(zé)人李翔對雷鋒網(wǎng) AI 研習(xí)社表示，目前攜程大部分的酒店圖像處理工作都是計算機在做，需要人工完成的圖像處理任務(wù)主要集中在部分用戶上傳圖像的內(nèi)容審核環(huán)節(jié)，因為用戶上傳的圖像內(nèi)容很不可控，同時又非常多元化。（攜程憑借此次專訪，在雷鋒網(wǎng)學(xué)術(shù)頻道 AI 科技評論旗下數(shù)據(jù)庫項目「AI 影響因子」中增加 8 分。）

李翔介紹道，攜程每天需處理的圖像達(dá)到數(shù)十萬張，主要有如下四個來源：1）攜程酒店商家拍攝；2）攜程業(yè)務(wù)工作人員采集；3）攜程的合作方提供；4）用戶上傳圖像。而在海量圖像處理過程中，酒店圖像智能化起到關(guān)鍵作用。

酒店圖像智能化主要包括兩方面內(nèi)容：

• 一是圖像的智能處理與挖掘——在圖像進(jìn)入攜程的過程中，對圖像進(jìn)行審核、質(zhì)量提升和信息挖掘，目的是大幅減少圖像的人工干預(yù)。

• 二是圖像智能應(yīng)用——在圖像對外公開的過程中，對圖像進(jìn)行智能展示，目的是改善用戶獲取酒店信息的速度、準(zhǔn)確性和完整性，提高用戶的滿意度。

如上所述，酒店圖像智能化主要圍繞圖像的智能處理與挖掘和圖像智能應(yīng)用兩方面展開。圖像智能處理與挖掘包括圖像預(yù)審核、圖像質(zhì)量提升和圖像信息挖掘三個環(huán)節(jié)。圖像智能應(yīng)用包括圖像智能展示、圖文智能結(jié)合和酒店視頻等應(yīng)用場景。圍繞圖像的智能處理與挖掘，雷鋒網(wǎng) AI 研習(xí)社與李翔展開一系列討論。

圖像的智能處理與挖掘

• 圖像預(yù)審核

圖像預(yù)審核包括相似圖像去重和水印檢測等步驟。這里重點討論水印檢測。

李翔表示，水印自動檢測在保護(hù)版權(quán)上非常重要，但是當(dāng)前缺乏大規(guī)模的水印目標(biāo)檢測數(shù)據(jù)集用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練。為了能夠更好地解決水印檢測任務(wù)，他們構(gòu)建了第一個大規(guī)模的水印圖像數(shù)據(jù)集。

在制作水印圖像數(shù)據(jù)集的過程中，他們收集了近百種常見的水印圖案和十余萬張無水印的圖像，對于每種水印，他們以不同的尺寸、透明度、旋轉(zhuǎn)角度和位置添加到圖像中，并在制作過程中自動記錄水印的信息。通過上述方式，他們以較小的人力投入建立了一個多元化的大規(guī)模水印目標(biāo)檢測數(shù)據(jù)集，為訓(xùn)練魯棒的水印檢測網(wǎng)絡(luò)提供了基礎(chǔ)。

他也向雷鋒網(wǎng) AI 研習(xí)社透露，近期將提供可以公開的版本供大家下載。

基于該水印檢測數(shù)據(jù)集，他們進(jìn)一步對比了 FasterR-CNN、SSD 和 YOLOv2 三種主流的目標(biāo)檢測方法，在對性能和效果進(jìn)行綜合評估之后，他們最終選擇在 YOLOv2 的基礎(chǔ)上進(jìn)行改進(jìn)，實現(xiàn)最終的水印圖像檢測器。

YOLOv3 于今年 4 月份公開，在公開后，他們也第一時間將其應(yīng)用到水印檢測任務(wù)中，測試結(jié)果表示 YOLOv3 的效果在 IoU0.5 的時候和 YOLOv2 一樣，Map 都接近 100%。除了 YOLOv3，他們也實踐了 Retina Net 等當(dāng)前最新的檢測網(wǎng)絡(luò)。他表示，近期他們會將包括水印檢測在內(nèi)和水印相關(guān)的一系列探索和研究結(jié)果在 arXiv 上公開，希望能夠?qū)ヂ?lián)網(wǎng)圖像提供方避免濫用有版權(quán)圖像方面有所幫助。

• 圖像質(zhì)量提升

為了讓用戶能夠看到更真實清晰的酒店圖像，需要進(jìn)行圖像去模糊、小圖放大和圖像美化處理，這樣能獲取最有用的酒店信息。

由于將小圖放大的超分辨率網(wǎng)絡(luò)使用的損失函數(shù)一般是最小均方誤差（MSE），該函數(shù)使重建結(jié)果有較高的信噪比，但是缺少高頻信息，會使圖像出現(xiàn)過度平滑的紋理。為此，他們采用 VGGNet 計算網(wǎng)絡(luò)的感知損失（Perceptual Loss），使網(wǎng)絡(luò)輸出的圖像更加自然。

此外，真實的低分辨率酒店圖像往往存在有損壓縮，圖像本身具有塊效應(yīng)，直接使用超分辨率網(wǎng)絡(luò)恢復(fù)細(xì)節(jié)，會使圖像的塊效應(yīng)更加嚴(yán)重。為此，他們利用深度殘差全卷積網(wǎng)絡(luò)建立一個圖像去塊效應(yīng)模型進(jìn)行圖像的預(yù)處理。

他們還構(gòu)建了針對酒店圖像超分辨率和去塊效應(yīng)的數(shù)據(jù)集。李翔表示，通過將高質(zhì)量酒店圖像進(jìn)行質(zhì)量壓縮和降采樣，可以快速得到大量的訓(xùn)練圖像對，這比水印檢測數(shù)據(jù)集的構(gòu)建要便捷。

針對圖像美化，李翔對雷鋒網(wǎng) AI 科技評論說道，「更確切地說，圖像美化指的是圖像視覺上的改善，主要是對部分拍攝不理想的圖像進(jìn)行自動優(yōu)化，并不涉及對圖像的真實內(nèi)容的改變?！顾麄兿Ｍ軌蛲ㄟ^美化來降低在圖像拍攝中由于設(shè)備不佳、操作不當(dāng)和環(huán)境變化等因素對酒店圖像蘊含的真實信息的影響。李翔表示，這一問題可以看作是一個圖像到圖像的轉(zhuǎn)換問題，通過基于深層卷積網(wǎng)絡(luò)的編解碼器進(jìn)行建模，并進(jìn)一步在輸入和輸出之間加入跳躍連接，確保美化后的圖像的真實性。

攜程現(xiàn)在已經(jīng)實現(xiàn)了圖像亮度、對比度和色彩等的自適應(yīng)改善和曝光區(qū)域的自動恢復(fù)，力求讓用戶獲取更客觀的酒店信息。

• 圖像信息挖掘

圖像信息挖掘包括圖像內(nèi)容分類、圖像多目標(biāo)檢測和圖像質(zhì)量評價等等。雷鋒網(wǎng) AI 研習(xí)社與李翔重點討論了圖像內(nèi)容分類環(huán)節(jié)。

酒店圖像是對酒店各方面信息的直觀展示，為了幫助用戶方便快捷地發(fā)現(xiàn)他們想要瀏覽的圖像內(nèi)容，攜程將酒店圖像分為了外觀、大堂、餐廳、會議室、室內(nèi)/室外泳池、健身房、公共區(qū)域、房間、衛(wèi)生間和其他等類別，分類準(zhǔn)確率已經(jīng)達(dá)到 99% 以上。

為了能夠?qū)崿F(xiàn)在標(biāo)注少量酒店圖像的情況下達(dá)到良好的分類效果，他們利用深度網(wǎng)絡(luò)有效的遷移學(xué)習(xí)能力，對在大規(guī)模數(shù)據(jù)集上已經(jīng)預(yù)訓(xùn)練的網(wǎng)絡(luò)權(quán)重進(jìn)行微調(diào)。

在實際應(yīng)用中，由于 ImageNet 數(shù)據(jù)集圖像的內(nèi)容和酒店圖像差異過大，影響了網(wǎng)絡(luò)遷移學(xué)習(xí)的效果，為了盡可能提升網(wǎng)絡(luò)的遷移學(xué)習(xí)能力，他們借助與酒店圖像內(nèi)容最為接近的自然場景圖像數(shù)據(jù)集上預(yù)訓(xùn)練的 VGGNet 作為初始設(shè)置，結(jié)果表明分類效果得到了較大提升。

在選擇的過程中，他們也測試了 ResNet 和 Inception 等一系列網(wǎng)絡(luò)，最終，綜合復(fù)雜度和準(zhǔn)確率等多方面考慮選擇 VGGNet。

在訓(xùn)練過程中，訓(xùn)練數(shù)據(jù)集主要是依靠攜程內(nèi)部人員對真實酒店圖像進(jìn)行分類標(biāo)注獲得，每個類別他們標(biāo)注了 1k 張酒店圖像，酒店涉及高星/低星、民宿/品牌等不同類型。同時，他們在訓(xùn)練過程中進(jìn)一步利用水平翻轉(zhuǎn)、隨機裁剪和色彩抖動等方式對自己標(biāo)注的小規(guī)模酒店圖像數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強。

接下來，他們會對圖像內(nèi)容做進(jìn)一步的精細(xì)化分類，讓酒店圖像的類別更加的豐富，用戶獲取酒店信息更加快速。

• 模型評估與優(yōu)化

在圖像智能化的過程中，涉及到分類、檢測、質(zhì)量評價和超分辨率等多個模型，面對如此多樣化的模型，他們對模型的評估分為客觀和主觀兩種情況：對于分類和檢測這些客觀的圖像任務(wù)，根據(jù)攜程所建立數(shù)據(jù)集中的測試集進(jìn)行模型的直接評估。對于質(zhì)量評價和超分辨率這些主觀的圖像任務(wù)，除了利用測試集進(jìn)行評估，還需要進(jìn)一步借助人工來進(jìn)行主觀評估。

對模型的優(yōu)化分為如下三個方面：

1）數(shù)據(jù)集的不斷完善。李翔表示，數(shù)據(jù)是基礎(chǔ)，建立一個適合自己特定圖像任務(wù)的數(shù)據(jù)集至關(guān)重要。但是數(shù)據(jù)集的構(gòu)建很多時候并不能一蹴而就，需要充分理解數(shù)據(jù)，以水印檢測為例，他們在水印種類、透明度、尺寸和角度等多個方面進(jìn)行了多次優(yōu)化，水印檢測的效果也隨著數(shù)據(jù)集的不斷完善而持續(xù)提升。

2）針對自身任務(wù)的模型調(diào)優(yōu)。當(dāng)前學(xué)術(shù)界流行的技術(shù)更多是面向常規(guī)的圖像問題，然而在實際應(yīng)用中要解決的圖像任務(wù)各式各樣，都有自身的特點。將這些技術(shù)直接應(yīng)用過來，效果不一定盡如人意，往往需要針對不同任務(wù)的特性進(jìn)行改進(jìn)，包括網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)以及一系列訓(xùn)練的技巧等等，根據(jù)實驗結(jié)果和 bad case 不斷調(diào)整，使其更加貼合自身的任務(wù)。

3）不同模型的對比分析和迭代。當(dāng)前深度學(xué)習(xí)發(fā)展非?？?，各種網(wǎng)絡(luò)層出不窮，需要不斷學(xué)習(xí)新技術(shù)，對比實踐不同的方法，從中選取更適合自身任務(wù)的方法。

與學(xué)界最大的不同在于數(shù)據(jù)

對于與學(xué)術(shù)界研究的不同，李翔如是說道，

「從自身經(jīng)歷來看，我覺得不同點首先在于數(shù)據(jù)。感謝一大批優(yōu)秀的數(shù)據(jù)集如 ImageNet、COCO、VOC 和 Places 等，使得大部分人的學(xué)術(shù)研究可以專注于模型的創(chuàng)新。然而在實際中遇到的圖像問題往往都沒有現(xiàn)成的數(shù)據(jù)集可用，需要在充分理解圖像數(shù)據(jù)的基礎(chǔ)上，根據(jù)問題自身的特性來收集、清洗和標(biāo)注圖像數(shù)據(jù)。

為此在酒店圖像智能化過程中，我們嘗試了多種方式來提升不同任務(wù)的數(shù)據(jù)集的構(gòu)建效率和質(zhì)量。在數(shù)據(jù)集準(zhǔn)備好之后，大部分學(xué)術(shù)研究更重視解決問題的角度和思路，讓自己的研究更加有意義和新穎。但我們更加關(guān)心的是模型的精度、速度以及上線部署的難度，力求以簡單而有效的方法來解決實際業(yè)務(wù)問題。」

他進(jìn)一步表示，對于精度和速度之間的權(quán)衡，需要根據(jù)具體的圖像任務(wù)來定。對于面向用戶和商戶的圖像任務(wù)，速度更加重要，在損失可接受精度的范圍內(nèi)，滿足實時性需求，提升用戶體驗。對于面向自身的圖像任務(wù)，由于實時性需求不迫切，在速度可接受范圍內(nèi)，他們會優(yōu)先考慮精度，保證圖像處理的質(zhì)量，圖像信息挖掘的完整性和準(zhǔn)確性。

從 0 到 1 的智能化建設(shè)之路

在采訪的最后，李翔談到攜程圖像智能化系統(tǒng)的建設(shè)之路，他表示，攜程酒店圖像智能化系統(tǒng)經(jīng)歷的迭代和改進(jìn)其實是一條從 0 到 1 的建設(shè)之路。

最初他們的重心圍繞如何減少酒店圖像的人力成本投入。從第一個酒店圖像去重模塊開始，他們相繼上線了酒店圖像分類、水印檢測和小圖放大等等一系列模塊。在大幅降低了人工對酒店圖像的干預(yù)后，他們的重心逐漸向如何為用戶和商戶創(chuàng)造價值上轉(zhuǎn)移，以豐富的酒店圖像信息挖掘模塊為基礎(chǔ)，他們相繼上線包括首圖優(yōu)選、圖文結(jié)合和酒店視頻在內(nèi)的一系列圖像智能化應(yīng)用。他對雷鋒網(wǎng)說道，在這一系列功能上線之后，用戶預(yù)訂訂單轉(zhuǎn)化率和間夜量得到了多次顯著上升，用戶瀏覽費力度也得到顯著下降，實現(xiàn)了用戶和商戶的雙贏，取得了很好的反響。

李翔表示，下一步，他們會繼續(xù)堅持以用戶為中心，將更多的優(yōu)秀 AI 技術(shù)真正落地，從 1 到 N 為用戶展現(xiàn)更多更好的圖像應(yīng)用，讓酒店圖像創(chuàng)造出更大的價值。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。