Test-Time Degradation Adaption for Open-Set Image Restoration

要約

事前に定義された劣化の集合から画像を復元するクローズセットシナリオとは対照的に、オープンセット画像復元は、我々の知る限りではあまり触れられていない、事前学習段階で予見されなかった未知の劣化を扱うことを目的としている。本研究では、この困難な問題を明示的に研究し、その本質、すなわち、テストデータとトレーニングデータの間の未知の分布シフトを明らかにする。最近では、テスト時間適応がこの本質的な格差に対処するための基本的な手法として浮上している。このフレームワークは、3つの構成要素、すなわち、i) きれいな画像を生成するための、事前に訓練された劣化に無頓着な拡散モデル、ii) テスト段階の入力画像に基づいて、未知の劣化を適応するテスト時劣化アダプタ、iii) アダプタガイド画像復元は、対応するきれいな画像を生成するために、アダプタを介してモデルをガイドする。学習データにない複数の劣化に対する実験を通して、本手法が、タスクに特化した手法に匹敵する、さらに優れた性能を達成することを示す。

要約(オリジナル)

In contrast to close-set scenarios that restore images from a predefined set of degradations, open-set image restoration aims to handle the unknown degradations that were unforeseen during the pretraining phase, which is less-touched as far as we know. In this work, we explicitly study this challenging problem and reveal its essence, i.e., the unidentified distribution shifts between test and training data. In recent, test-time adaptation emerges as a fundamental method to address this inherent disparities. Inspired by this, we propose a test-time degradation adaption framework for open-set image restoration, which involves three components, i.e., i) a pre-trained and degradation-agnostic diffusion model to generate clean images, ii) a test-time degradation adapter adapts the unknown degradations based on the input image during the testing phase, and iii) the adapter-guided image restoration guides the model through the adapter to produce the corresponding clean image. Through experiments on multiple degradations absent from the training data, we show that our method achieves comparable even better performance than those task-specific methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL