PromptIR: Prompting for All-in-One Blind Image Restoration

要約

イメージの復元には、劣化したバージョンから高品質のクリーンなイメージを回復することが含まれます。
深層学習ベースの方法は、画像復元パフォーマンスを大幅に向上させましたが、さまざまな劣化の種類やレベルに対する汎化能力には限界がありました。
これにより、特定の劣化ごとに個別のモデルをトレーニングし、関連するモデルを適用するために入力劣化タイプを知る必要があるため、現実世界へのアプリケーションが制限されます。
さまざまな種類やレベルの劣化から画像を効果的に復元できる、オールインワンの画像復元のためのプロンプトベースの学習アプローチである PromptIR を紹介します。
特に、私たちの方法では、プロンプトを使用して劣化固有の情報をエンコードし、それを使用して復元ネットワークを動的にガイドします。
これにより、画像のノイズ除去、ディレイニング、かすみ除去に関して最先端の結果を達成しながら、私たちの方法をさまざまな劣化タイプやレベルに一般化することができます。
全体として、PromptIR は、イメージ内に存在する破損に関する事前情報がなくても、さまざまな種類や劣化レベルのイメージを復元するために使用できる、いくつかの軽量プロンプトを備えた汎用的で効率的なプラグイン モジュールを提供します。
私たちのコードと事前トレーニングされたモデルはここから入手できます: https://github.com/va1shn9v/PromptIR

要約(オリジナル)

Image restoration involves recovering a high-quality clean image from its degraded version. Deep learning-based methods have significantly improved image restoration performance, however, they have limited generalization ability to different degradation types and levels. This restricts their real-world application since it requires training individual models for each specific degradation and knowing the input degradation type to apply the relevant model. We present a prompt-based learning approach, PromptIR, for All-In-One image restoration that can effectively restore images from various types and levels of degradation. In particular, our method uses prompts to encode degradation-specific information, which is then used to dynamically guide the restoration network. This allows our method to generalize to different degradation types and levels, while still achieving state-of-the-art results on image denoising, deraining, and dehazing. Overall, PromptIR offers a generic and efficient plugin module with few lightweight prompts that can be used to restore images of various types and levels of degradation with no prior information on the corruptions present in the image. Our code and pretrained models are available here: https://github.com/va1shn9v/PromptIR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google