ProRes: Exploring Degradation-aware Visual Prompt for Universal Image Restoration

要約

画像復元は、ノイズ除去やブレ除去など、劣化した画像を再構築することを目的としています。
既存の研究は、タスク固有の方法を設計することに焦点を当てており、普遍的な方法への試みは不十分です。
ただし、複数のタスクを 1 つの汎用アーキテクチャに単純に統合すると、制御不能で望ましくない予測が発生する可能性があります。
これらの問題に対処するために、画像復元タスクのためのユニバーサル アーキテクチャでの迅速な学習を検討します。
この論文では、ノイズやぼやけなどのさまざまな種類の画像劣化を統合された視覚プロンプトにエンコードする劣化対応ビジュアル プロンプトを紹介します。
これらの劣化を認識したプロンプトは、画像処理を制御し、カスタマイズされた画像復元のための重み付けされた組み合わせを可能にします。
次に、劣化を認識した視覚的なプロンプトを活用して、広範囲の画像復元タスクに適用できる ProRes と呼ばれる、制御可能で汎用的な画像復元モデルを確立します。
ProRes は、タスク固有の設計を行わずに、バニラ ビジョン トランスフォーマー (ViT) を活用します。
さらに、事前トレーニングされた ProRes は、わずか数枚の画像を使用した効率的なプロンプト チューニングを通じて、新しいタスクに簡単に適応できます。
付加機能なしでも、ProRes はタスク固有の方法と比較して競争力のあるパフォーマンスを実現し、制御可能な復元と新しいタスクへの適応の能力を実験で実証できます。
コードとモデルは \url{https://github.com/leonmakise/ProRes} でリリースされます。

要約(オリジナル)

Image restoration aims to reconstruct degraded images, e.g., denoising or deblurring. Existing works focus on designing task-specific methods and there are inadequate attempts at universal methods. However, simply unifying multiple tasks into one universal architecture suffers from uncontrollable and undesired predictions. To address those issues, we explore prompt learning in universal architectures for image restoration tasks. In this paper, we present Degradation-aware Visual Prompts, which encode various types of image degradation, e.g., noise and blur, into unified visual prompts. These degradation-aware prompts provide control over image processing and allow weighted combinations for customized image restoration. We then leverage degradation-aware visual prompts to establish a controllable and universal model for image restoration, called ProRes, which is applicable to an extensive range of image restoration tasks. ProRes leverages the vanilla Vision Transformer (ViT) without any task-specific designs. Furthermore, the pre-trained ProRes can easily adapt to new tasks through efficient prompt tuning with only a few images. Without bells and whistles, ProRes achieves competitive performance compared to task-specific methods and experiments can demonstrate its ability for controllable restoration and adaptation for new tasks. The code and models will be released in \url{https://github.com/leonmakise/ProRes}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google