【论文笔记】基于条件生成对抗网络（cGAN）的异质图像变化检测模型

最新推荐文章于 2024-05-12 23:25:56 发布

原创最新推荐文章于 2024-05-12 23:25:56 发布 · 2.7k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#变化检测 #条件生成对抗网络 #cGAN

变化检测专栏收录该内容

13 篇文章

订阅专栏

本文介绍了一种基于条件生成对抗网络的变化检测模型，用于解决异质SAR图像变化检测问题。该模型包括翻译网络、评估网络及判别器，通过生成和评估SAR图像来检测变化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是论文《A Conditional Adversarial Network for Change Detection in Heterogeneous Images》的阅读笔记。

文章针对异质SAR（合成孔径雷达）图像变化检测问题提出了一个基于条件生成对抗网络的模型，该模型包含一个翻译网络（生成器1）、一个评估网络（生成器2）和一个判别器，翻译网络用来将光学图像转换成SAR图像，评估网络用来减少SAR图像和生成的SAR图像之间的像素级的差别，判别器用来判别输入是真图像还是假图像。

一、相关工作

遥感图像分为很多种，包括合成孔径雷达（SAR）图像、极化SAR图像、多孔径图像等。根据图像来源，变化检测可以分为同质变化检测和异质变化检测，同质变化检测的图像是来自相同或相似的传感器的，而异质变化检测的图像是来自不同的传感器的。而在异质变化检测中，又可以分为两种方法：分类后比较和copula理论方法。分类后比较方法首先对图像分别分类，然后再对比分类图得到变化图，这种方法依赖于图像分类的准确率。copula理论方法是将一张图片转化成和另一张图像相同的分布，然后再做处理。

普通GAN的生成器 $G$ 的输入为分布为 $p_z(z)$ 的噪音 $z$ ，输出为生成的假的图像 $G (z)$ ；而判别器 $D$ 的输入是分布为 $p_{data}(x)$ 的真图像 $x$ 和生成的假图像，判别器用来判别输入的是真图像还是假图像，当判别不出来的时候说明生成器生成的假图像可以以假乱真了。而条件GAN会有一个额外的输入 $y$ ，并根据 $y$ 生成指定类型的图像。cGAN的目标函数如下：
$\begin{array}{l}\min _{G} \max _{D} V(D, G) \\\qquad \begin{aligned}=& E_{x \sim p_{\text {data }}(x)}[\log (D(x))] \\&+E_{y \sim p_{\text {data }}(y), z \sim p_{z}(z)}[\log (1-D(G(y, z)))]\end{aligned}\end{array}$

二、方法

在这里插入图片描述

网络结构如上图所示，首先翻译网络将光学图像转换成SAR图像，然后评估网络减少SAR图像和生成的SAR图像之间的像素级的差别，并根据生成的图像1和图像2得到最终的变化图CM。判别器用来判别输入是真图像还是假图像。

文章提出的模型的损失函数还加入了用来衡量像素之间差异的L1距离损失，其公式如下：
$L_{1}(G)=E_{x, y \sim p_{\text {data }}(x, y), z \sim p_{z}(z)}\left[\|x-G(y, z)\|_{1}\right]$
因此，总的损失函数如下：
$\min _{G} \max _{D} \operatorname{TN}(D, G)=V(D, G)+\lambda L_{1}(G)$
SAR图像中的乘性散斑噪声被认为是一个Gamma分布 $zSAR∼Γ(L,L−1)z_{SAR}\sim \Gamma\left(L, L^{-1}\right)$ ，其中 $L$ 是SAR图像处理中的looks数。而光学图像的损伤被认为是一个高斯分布 $zopt∼N(0,σ2)z_{\mathrm{opt}} \sim \mathcal{N}\left(0, \sigma^{2}\right)$ 。

评估网络的目标函数如下：
$L_{1}(\mathrm{AN})=P_{u}(x, y)\left\|f\left(x, z_{\mathrm{SAR}}\right)-G\left(y, z_{\mathrm{opt}}\right)\right\|_{1}$
其中 $x, y$ 分别表示SAR图像和光学图像， $f$ 表示评估函数， $P_u(x,y)$ 表示 ${x,y\}$ 是否发生改变，是否发送改变可以根据自动阈值方法——Kittler and Illingworth(GKI)阈值算法来决定，其公式如下：
$\left\{\begin{array}{l}P_{u}(x, y)=\frac{1}{2}\left(1-\operatorname{sgn}\left(\left\|f\left(x, z_{\mathrm{SAR}}\right)-G\left(y, z_{\mathrm{opt}}\right)\right\|_{2}^{2}-\tau\right)\right) \\\tau=\operatorname{GKI}(\mathcal{X}, \mathcal{Y})\end{array}\right.$
其中 $X,Y\mathcal{X}, \mathcal{Y}$ 是 $x, y$ 的集合，该公式表示如果 ${f(x,zSAR),G(y,zopt)}\{f\left(x, z_{\mathrm{SAR}}\right),G\left(y, z_{\mathrm{opt}}\right)\}$ 之间的差异小于 $τ\tau$ ，则 ${x,y\}$ 将被认为是未变化，反之认为发生了变化。