Uni-Removal: A Semi-Supervised Framework for Simultaneously Addressing Multiple Degradations in Real-World Images

要約

現実世界の画像からかすみ、雨、ぼやけなどの複数の劣化を除去することは、困難で不適切な問題を引き起こします。
最近、さまざまな劣化に対応できる統合モデルが提案され、有望な結果が得られています。
ただし、これらのアプローチは合成画像に焦点を当てているため、現実世界の画像に適用するとパフォーマンスが大幅に低下します。
この論文では、統一されたモデルとパラメータを使用して実世界の画像における複数の劣化の除去に対処するための 2 段階の半教師ありフレームワークである Uni-Removal を紹介します。
知識伝達段階では、Uni-Removal は教師付き複数教師と生徒のアーキテクチャを知識伝達段階で活用し、さまざまな劣化タイプに特化した事前トレーニング済みの教師ネットワークからの学習を促進します。
特徴空間および画像空間からの学習を強化するために、マルチグレイン コントラスト損失が導入されています。
ドメイン適応段階では、実世界の画像に敵対的識別子を組み込むことによって教師なし微調整が実行されます。
拡張されたマルチグレインコントラスト損失と生成的敵対的損失の統合により、生徒ネットワークを合成ドメインから現実世界のドメインに適応させることができます。
現実世界の劣化したデータセットに対する広範な実験により、私たちが提案した方法の有効性が実証されています。
私たちは Uni-Removal フレームワークを最先端の教師ありおよび教師なしの手法と比較し、現実世界の画像のかすみ除去、輪郭除去、ぼけ除去を同時に行う際の有望な結果を示します。

要約(オリジナル)

Removing multiple degradations, such as haze, rain, and blur, from real-world images poses a challenging and illposed problem. Recently, unified models that can handle different degradations have been proposed and yield promising results. However, these approaches focus on synthetic images and experience a significant performance drop when applied to realworld images. In this paper, we introduce Uni-Removal, a twostage semi-supervised framework for addressing the removal of multiple degradations in real-world images using a unified model and parameters. In the knowledge transfer stage, Uni-Removal leverages a supervised multi-teacher and student architecture in the knowledge transfer stage to facilitate learning from pretrained teacher networks specialized in different degradation types. A multi-grained contrastive loss is introduced to enhance learning from feature and image spaces. In the domain adaptation stage, unsupervised fine-tuning is performed by incorporating an adversarial discriminator on real-world images. The integration of an extended multi-grained contrastive loss and generative adversarial loss enables the adaptation of the student network from synthetic to real-world domains. Extensive experiments on real-world degraded datasets demonstrate the effectiveness of our proposed method. We compare our Uni-Removal framework with state-of-the-art supervised and unsupervised methods, showcasing its promising results in real-world image dehazing, deraining, and deblurring simultaneously.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google