摘要:
由于复杂的成像过程以及仅雨图像已知，导致图像去雨成为一个高度不适定的问题。尽管深度卷积神经网络的快速发展已经在图像去雨的应用方面取得了很大的进展，但是图像去雨问题仍然是一个具有挑战性的问题，特别是图像的细节恢复以及在真实降雨场景中图像去雨模型的泛化能力。为了解决上述问题，本文提出一种基于残差通道注意力机制的图像去雨网络。该网络在特征空间使用注意力机制建模图像中重要的结构和细节特征，以此捕获图像背景内容的固有特征，从而有助于更精确地估计降雨图像的结构和细节。此外，考虑到现有的基于深度学习的图像去雨方法往往过度拟合合成的训练数据，导致对真实场景降雨图像的泛化性能较差，本文进一步提出一种无监督微调方法，提升了合成数据训练模型在真实场景中的泛化能力。综合的定性和定量实验结果表明，本文提出的图像去雨算法无论在合成数据还是真实场景中，其细节复原能力均优于现有方法。
研究背景 图像去雨的目标是从雨图像中恢复潜在的清晰图像。由于真实的退化图像与合成的退化图像差异较大，且现存的大多数图像去雨方法均严重依赖于合成数据，因此它们对于真实的退化图像泛化性能较差，不足以解决生活中的实际问题。现存的基于深度学习的图像去雨算法借助卷积神经网络强大的学习能力来提取图像的细节特征用于重建图像，但是它们大多适用于单一的退化模型，对于图像的细节估计不足。而且，由于真实雨图像的退化模型较为复杂，仅仅使用合成雨图像数据集学习到的去雨模型不能很好地泛化到真实的退化图像中，而真实的雨图像又缺乏对应的清晰图像作为标签来约束网络。为了恢复清晰的图像细节，本文提出了一种基于残差通道注意力的深度卷积神经网络来实现图像去雨。
目的 本文方法的目标之一是提出一种能够区分图像结构与细节，并对特征进行精确建模的卷积神经网络，通过不同层次间的残差信息耦合以及对通道间特征响应的重校正，使得网络专注于捕捉图像中重要的结构和细节，从而恢复清晰且丰富的图像细节。本文方法的另一目标是提出一种无监督的学习方法，提升网络对真实降雨图像的泛化性能。
方法 本文所提出的残差通道注意力网络的流程图如图1所示。该网络包括三个基本模块: 特征提取模块、特征细化模块和图像重构模块。特征提取模块由单一卷积层组成，从输入图像中提取特征。该网络的核心是特征细化模块，其包括一系列级联残差块、一个特征融合模块和一个长跳连接(long-skip connection)。利用残差块可以扩大网络的感受野，避免梯度消失。此外，残差块中的跳跃连接直接将特征传递给输出，避免了信息丢失。为了更好地探索用于图像去雨的有用特征，本文进一步利用了通道注意力(channel attention, CA) 模块，并将其嵌入到每个残差块(简称CARM) 中，利用通道间的相互依赖性自适应地提高了对重要信息的敏感性，并抑制了非重要信息，使网络聚焦于更有价值的特征。关于该网络的训练过程，本文首先利用合成数据集训练网络，使其学习到建模精细特征的能力。为了进一步提升该网络对真实数据的泛化能力，本文又提出一种无监督微调的方法，使得网络适应于真实的降雨数据。该网络以端到端的方式进行训练，可以通过全监督学习和无监督学习的方式进行训练，分别用于处理合成降雨数据和真实降雨数据。
结果 本文在4个公开的基准数据集上评估所提出的方法，并与11种现存方法进行比较，评价指标使用峰值信噪比（PSNR）和结构相似度（SSIM）。表1给出了本文方法与现有的一些较为先进的方法在Rain100L，Rain100H，Rain1400 和Rain1200 四个数据集上的量化对比结果。显然，本文提出的方法在这四个数据集上都取得了良好的性能。此外，图2展示了不同的图像去雨方法在DID-MDN数据集上的可视化结果，可以观察到本文方法的去雨结果去雨效果更好，纹理细节更清晰。
结论 本文提出了一种基于残差通道注意网络的单图像去雨方法。该方法使用通道注意力机制帮助网络捕捉图像中最重要的结构和细节特征，使用残差网络框架通过不同层次间的残差信息耦合使得网络更加专注于边缘纹理等高频信息的复原。为了生成更真实的图像，本文在特征空间中设计了感知约束，并且针对现有的基于深度学习的方法不能很好地泛化到真实降雨图像上的问题，提出了一种半监督学习方法微调方法。在合成数据集和真实图像上的综合实验结果表明，本文所提出基于残差通道注意力的图像去雨方法不仅能够复原出具有更精确的结构细节，而且大大提升了模型在真实降雨场景中的泛化性能。在未来，我们将考虑对本文提出的方法进行扩展，以适应后续任务，如目标检测、语义分割和行人重识别。
下载: