Abstract

我们研究了 image-conditioned Diffusion Probabilistic Models (icDPM) 在去模糊中的泛化能力，并提出了一个简单但有效的指导来显着减轻伪影，并提高分布外性能。

我们建议首先从输入图像中提取多尺度域可泛化表示，该表示在保留底层图像结构的同时删除特定于域的信息。然后将表示添加到条件扩散模型的特征图中，作为有助于改进泛化的额外指导。

Introduce

Image deblurring

图像去模糊是一个不适定的逆问题，旨在在给定模糊观察的情况下估计一个（或多个）高质量图像。

通常，此类训练数据集是通过在一组干净的图像上应用已知的退化模型来人工生成的，这不可避免地在合成训练数据集和真实世界的模糊图像之间引入了域差距。

我们将“域差距”定义为地面真实标签已知的合成模糊输入（域内）与地面真实对应物未知的看不见/真实模糊输入（域外）之间的分布转变。

icDPM

我们比较了最近最先进的基于回归的、基于 GAN 的和 icDPM（我们的基线）模型的结果。与之前的工作类似，我们观察到 icDPM 在应用于看不见的数据和伪影时性能下降。

Untitled

我们声称在图像恢复中，有效的图像调节是提高领域泛化能力的关键因素。扩散模型应以保留与生成高质量重建相关的所有信息的信号为条件，但它也需要适当的蒸馏信息，理想情况下从源图像中丢弃退化和损坏。

在这项工作中，我们专注于通过更有效的图像调节来改进条件 DPM 的域泛化。

Untitled

条件 DPM $G_θ([x_t, y], t)$，其中图像调节通常是通过在输入级别处连接 $y$ 和 $x_t$ 来实现的。根据经验，我们发现这种公式对输入图像中的域偏移很敏感，并且会导致分布外图像恢复的性能较差。它甚至可能产生视觉伪影（图 6 中的“DvSR”）。