ConStyle v2: A Strong Prompter for All-in-One Image Restoration

要約

このペーパーでは、きれいな視覚的なプロンプトを出力し、U-Net Image Restoration モデルによる複数の劣化の処理を支援するように設計された強力なプラグ アンド プレイ プロンプターである ConStyle v2 を紹介します。
ConStyle と一般的な復元ネットワークで構成される画像復元フレームワークである IRConStyle の共同トレーニング プロセスは 2 つの段階に分かれています。まず、ConStyle のみを事前トレーニングし、次にその重みをフリーズして一般的な復元ネットワークのトレーニングをガイドします。
ConStyle をトレーニングするための事前トレーニング段階では、教師なし事前トレーニング、口実タスク (つまり、分類) の追加、および知識蒸留の導入という 3 つの改善が提案されています。
追加機能がなければ、オールインワンの画像復元のための強力なプロンプターである ConStyle v2 を GPU で 2 日以内に入手でき、微調整は必要ありません。
Restormer (トランスフォーマー ベース)、NAFNet (CNN ベース)、MAXIM-1S (MLP ベース)、およびバニラ CNN ネットワークに関する広範な実験により、ConStyle v2 があらゆる U-Net スタイルの画像復元モデルをオールイン型に強化できることが実証されました。
1 つの画像復元モデル。
さらに、十分にトレーニングされた ConStyle v2 によってガイドされたモデルは、ConStyle と比較して、特定の劣化において優れたパフォーマンスを示します。

要約(オリジナル)

This paper introduces ConStyle v2, a strong plug-and-play prompter designed to output clean visual prompts and assist U-Net Image Restoration models in handling multiple degradations. The joint training process of IRConStyle, an Image Restoration framework consisting of ConStyle and a general restoration network, is divided into two stages: first, pre-training ConStyle alone, and then freezing its weights to guide the training of the general restoration network. Three improvements are proposed in the pre-training stage to train ConStyle: unsupervised pre-training, adding a pretext task (i.e. classification), and adopting knowledge distillation. Without bells and whistles, we can get ConStyle v2, a strong prompter for all-in-one Image Restoration, in less than two GPU days and doesn’t require any fine-tuning. Extensive experiments on Restormer (transformer-based), NAFNet (CNN-based), MAXIM-1S (MLP-based), and a vanilla CNN network demonstrate that ConStyle v2 can enhance any U-Net style Image Restoration models to all-in-one Image Restoration models. Furthermore, models guided by the well-trained ConStyle v2 exhibit superior performance in some specific degradation compared to ConStyle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google