InstructIR: High-Quality Image Restoration Following Human Instructions

要約

画像の復元は、劣化した観察結果から高品質できれいな画像を回復することを含む基本的な問題です。
オールインワンのイメージ復元モデルは、復元モデルをガイドするプロンプトとして劣化固有の情報を使用して、さまざまなタイプおよびレベルの劣化からイメージを効果的に復元できます。
この研究では、人間が書いた指示を使用して画像復元モデルをガイドする最初のアプローチを紹介します。
自然言語プロンプトが与えられると、私たちのモデルは複数の劣化タイプを考慮して、劣化した画像から高品質の画像を復元できます。
私たちの手法である InstructIR は、画像のノイズ除去、ディレイニング、ブラー除去、かすみ除去、および (低照度の) 画像強調を含むいくつかの復元タスクで最先端の結果を達成します。
InstructIR は、以前のオールインワン復元方法に比べて +1dB 改善します。
さらに、私たちのデータセットと結果は、テキストガイドによる画像の復元と強化に関する新しい研究の新しいベンチマークを表します。
コード、データセット、モデルは https://github.com/mv-lab/InstructIR から入手できます。

要約(オリジナル)

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google