Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration

要約

深層学習ベースの画像復元手法は大幅な進歩を遂げていますが、合成データでのトレーニングによって生じる大幅なドメイン ギャップのため、現実世界のシナリオへの限定的な一般化には依然として苦労しています。
既存の方法は、データ合成パイプラインの改善、劣化カーネルの推定、深層学習の採用、ドメイン適応と正則化の実行によってこの問題に対処しています。
これまでのドメイン適応手法は、特徴空間またはピクセル空間のいずれかでドメイン不変の知識を学習することでドメインのギャップを埋めることを目指してきました。
ただし、これらの手法は、安定したコンパクトなフレームワーク内で低レベルの視覚タスクに拡張するのに苦労することがよくあります。
この論文では、拡散モデルを使用してノイズ空間を介してドメイン適応を実行できることを示します。
特に、マルチステップのノイズ除去プロセスが補助的な条件付き入力によってどのように影響されるかという独自の特性を活用することで、ノイズ予測から意味のある勾配を取得し、合成データと実世界データの両方の復元結果を共通のきれいな分布に徐々に揃えます。
この方法を適応としてのノイズ除去と呼びます。
トレーニング中のショートカットを防ぐために、チャネル シャッフルや残差スワッピングの対照学習などの便利なテクニックを紹介します。
3 つの古典的な画像復元タスク、つまりノイズ除去、ぼけ除去、輪郭除去に関する実験結果は、提案された方法の有効性を示しています。
コードは https://github.com/KangLiao929/Noise-DA/ でリリースされます。

要約(オリジナル)

Although deep learning-based image restoration methods have made significant progress, they still struggle with limited generalization to real-world scenarios due to the substantial domain gap caused by training on synthetic data. Existing methods address this issue by improving data synthesis pipelines, estimating degradation kernels, employing deep internal learning, and performing domain adaptation and regularization. Previous domain adaptation methods have sought to bridge the domain gap by learning domain-invariant knowledge in either feature or pixel space. However, these techniques often struggle to extend to low-level vision tasks within a stable and compact framework. In this paper, we show that it is possible to perform domain adaptation via the noise-space using diffusion models. In particular, by leveraging the unique property of how the multi-step denoising process is influenced by auxiliary conditional inputs, we obtain meaningful gradients from noise prediction to gradually align the restored results of both synthetic and real-world data to a common clean distribution. We refer to this method as denoising as adaptation. To prevent shortcuts during training, we present useful techniques such as channel shuffling and residual-swapping contrastive learning. Experimental results on three classical image restoration tasks, namely denoising, deblurring, and deraining, demonstrate the effectiveness of the proposed method. Code will be released at: https://github.com/KangLiao929/Noise-DA/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google