作者 | 鄭卓 

論文地址: https://arxiv.org/pdf/2108.07002.pdf

項(xiàng)目頁面: https://zhuozheng.top/changestar/

代碼: https://github.com/Z-Zheng/ChangeStar

第一作者主頁：https://zhuozheng.top

該工作是武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室RSIDEA團(tuán)隊(duì)在變化檢測方面的工作，已被ICCV 2021接收。

針對成對雙時相變化檢測訓(xùn)練樣本標(biāo)注耗時、收集困難的問題，提出了一種新穎的弱監(jiān)督學(xué)習(xí)算法STAR (Single-Temporal supervised LeARning)，其利用非成對單時相遙感影像構(gòu)造偽雙時相監(jiān)督信號，以學(xué)習(xí)變化表征；同時提出了一種變化檢測新架構(gòu)ChangeStar，其通過核心模塊ChangeMixin，可將任意語義分割模型轉(zhuǎn)化為變化檢測器，從而復(fù)用現(xiàn)有的優(yōu)秀架構(gòu)，揭示了語義分割與變化檢測之間的內(nèi)在聯(lián)系。

實(shí)驗(yàn)表明，單時相監(jiān)督下的ChangeStar較Baseline取得顯著提升, 在Zero-Shot驗(yàn)證條件下，與強(qiáng)監(jiān)督模型精度差距縮小到10%以內(nèi)；在強(qiáng)監(jiān)督（雙時相監(jiān)督）的設(shè)定下，基于FarSeg的ChangeStar在LEVIR-CD數(shù)據(jù)集上實(shí)現(xiàn)了state-of-the-art的精度。

1

變化無處不在

我們觀察到，成對標(biāo)記的位時圖像的重要性在于，變化檢測器需要成對的語義信息來定義對象變化檢測的正負(fù)樣本。這些正、負(fù)樣本通常是由兩個不同時間的像素在同一地理區(qū)域是否具有不同的語義來決定的。位時像素的語義控制著標(biāo)簽分配，而位置一致性條件（兩個時相的像素應(yīng)處于相同的地理位置）僅用于保證獨(dú)立同分布的訓(xùn)練和推理?？梢韵胂螅绻覀兯沙谖恢靡恢滦詶l件來定義正負(fù)樣本，那么變化是無處不在的，尤其是在未配對的圖像之間。

2

方法簡介

2.1 單時相監(jiān)督學(xué)習(xí)算法STAR: Single-Temporal supervised LeARning

STAR旨在通過帶有語義像素標(biāo)簽的任意圖像對學(xué)習(xí)一個可泛化的變化檢測器。為了實(shí)現(xiàn)這一點(diǎn)，我們構(gòu)造了偽雙時相圖像對，松弛了傳統(tǒng)的雙時相監(jiān)督的變化檢測學(xué)習(xí)問題，如下式：

其中Xi, Xj為真實(shí)雙時相圖像對，對應(yīng)的Y是其語義像素標(biāo)簽，F(xiàn)為變化檢測器，為變化檢測器參數(shù)。將偽雙時相圖像對（Xt1, Xt1）替換為真實(shí)雙時相圖像對，并重新利用邏輯異或運(yùn)算分配偽雙時相圖像對的變化標(biāo)簽，從而將原學(xué)習(xí)問題松弛為下式的僅利用單時相圖像即可完成的學(xué)習(xí)問題:

偽雙時相圖像對：為了利用單時相圖像提供監(jiān)督信號，我們提出了一種偽雙時相圖像對構(gòu)建技術(shù)，其通過對一個訓(xùn)練批次中的圖像Xt1進(jìn)行隨機(jī)排列得到偽第二時相圖像Xt1，并且保證每個偽圖像對中的圖像各不相同。通過觀察可以發(fā)現(xiàn)，偽雙時相圖像對的變化標(biāo)簽可用兩張圖像的語義像素標(biāo)簽（one-hot為二值標(biāo)簽）的邏輯異或表示，這樣即可完成偽雙時相圖像對的正負(fù)樣本定義。

圖1：模型訓(xùn)練與推理流程

2.2 變化檢測新架構(gòu)ChangeStar = Any Segmentation Model + ChangeMixin

ChangeStar是一個簡單而統(tǒng)一的網(wǎng)絡(luò)，由一個深度語義分割模型和ChangeMixin模塊組成。這種設(shè)計(jì)的核心思想在于重用現(xiàn)代語義分割架構(gòu)，因?yàn)檎Z義分割和物體變化檢測都是密集的預(yù)測任務(wù)。為此，我們設(shè)計(jì)了ChangeMixin模塊，使任何現(xiàn)成的深度語義分割模型能夠檢測物體變化。ChangeMixixin模塊由若干卷積層和一個時序交換模塊組成，其輸入由分割模型計(jì)算得到的高分辨率語義特征，輸出雙向的變化檢測圖用于后續(xù)的學(xué)習(xí)與推理。我們在實(shí)驗(yàn)中發(fā)現(xiàn)，一個收斂的模型，雙向變化檢測圖相似度極高，因此在推理階段我們選擇其中一個方向的變化檢測圖作為最終預(yù)測值。

3

主要實(shí)驗(yàn)結(jié)果

這部分展示了所提出方法在不同訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)下的泛化性實(shí)驗(yàn)結(jié)果。對比方法采用基于深度語義分割模型的分類后比較法，作為單時相監(jiān)督的基線。實(shí)驗(yàn)結(jié)果表明，所提出的方法可有效提升單時相監(jiān)督下的變化檢測性能，具有很好的泛化性能。

同時為了驗(yàn)證所提出架構(gòu)的有效性，我們在雙時相監(jiān)督下訓(xùn)練了ChangeStar模型的各種變體。實(shí)驗(yàn)結(jié)果（表4）表明ChangeStar架構(gòu)對已有的分割模型具有良好的兼容性，在相同骨干網(wǎng)絡(luò)的情況下可取得更加優(yōu)異的性能。

為了了解單時相、雙時相監(jiān)督之間的實(shí)際差距，我們利用相同模型開展了多組對照實(shí)驗(yàn)，從實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn)，單時相監(jiān)督作為一種弱監(jiān)督信號，與雙時相監(jiān)督這種強(qiáng)監(jiān)督信號相比仍有一定差距，但差距隨著骨干網(wǎng)絡(luò)容量的提升而減小，目前F1精度差距最小可縮小到10%以內(nèi)。然而本文提出的方法僅僅是在單時相監(jiān)督上的初步探索，未來還有更大的改進(jìn)空間，例如使用模型容量更大的transfomer模型作為基礎(chǔ)模型、更大的單時相監(jiān)督數(shù)據(jù)、更好的單時相監(jiān)督學(xué)習(xí)策略都是值得未來探索的研究話題。

更多的消融實(shí)驗(yàn)與討論可見原文。

4

總結(jié)

在這項(xiàng)工作中，我們提出了單時相監(jiān)督學(xué)習(xí)算法（STAR），從而巧妙繞過了傳統(tǒng)的雙時相監(jiān)督學(xué)習(xí)中收集成對標(biāo)記數(shù)據(jù)成本高的問題。STAR提供了一個利用任意圖像對中的物體變化作為監(jiān)督信號的新視角。為了證明STAR的有效性，我們設(shè)計(jì)了一個簡單而有效的多任務(wù)架構(gòu)，稱為ChangeStar，用于聯(lián)合語義分割和變化檢測，它可以通過進(jìn)一步提出的ChangeMixin模塊重新使用任何深度語義分割架構(gòu)。

大量的實(shí)驗(yàn)分析表明，提出的方法可以以較弱監(jiān)督信息學(xué)習(xí)一個魯棒的變化檢測器；同樣雙時相監(jiān)督條件下，超越了目前的state-of-the-art方法。我們希望STAR將作為一個堅(jiān)實(shí)的基線，在未來服務(wù)于弱監(jiān)督變化檢測研究。

雷鋒網(wǎng)

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。