Prompt-In-Prompt Learning for Universal Image Restoration

要約

劣化した画像を取得して強化することを目的とした画像復元は、幅広いアプリケーションの基本です。
従来の深層学習アプローチは、さまざまなタスク全体で画質を著しく向上させてきましたが、依然として、(i) さまざまなタスク固有のモデルに必要なストレージ コストが高いこと、および (ii) 対話性と柔軟性が欠如しているため、広範な応用が妨げられているという問題があります。
言語領域と視覚領域の両方でのプロンプトの顕著な成功からインスピレーションを得て、PIP と呼ばれるユニバーサル画像復元のための新しいプロンプトインプロンプト学習を提案します。
まず、2 つの新しいプロンプトを提示します。1 つは高レベルの劣化知識をエンコードするための劣化認識プロンプト、もう 1 つは重要な低レベル情報を提供するための基本的な復元プロンプトです。
次に、これら 2 つのプロンプトを汎用復元プロンプトに融合するための新しいプロンプト間対話モジュールを考案します。
第三に、劣化関連の機能を調整するために、選択的なプロンプトと機能の相互作用モジュールを導入します。
そうすることで、結果として得られる PIP はプラグ アンド プレイ モジュールとして機能し、汎用的な画像復元のための既存の復元モデルを強化します。
広範な実験結果により、画像のノイズ除去、ディレイニング、かすみ除去、ぼけ除去、低照度強調などの複数の修復タスクにおける PIP の優れたパフォーマンスが実証されています。
驚くべきことに、PIP は解釈可能で、柔軟性があり、効率的で、使いやすいため、現実世界のアプリケーションに有望な可能性を示しています。
コードは https://github.com/longzilicart/pip_universal で入手できます。

要約(オリジナル)

Image restoration, which aims to retrieve and enhance degraded images, is fundamental across a wide range of applications. While conventional deep learning approaches have notably improved the image quality across various tasks, they still suffer from (i) the high storage cost needed for various task-specific models and (ii) the lack of interactivity and flexibility, hindering their wider application. Drawing inspiration from the pronounced success of prompts in both linguistic and visual domains, we propose novel Prompt-In-Prompt learning for universal image restoration, named PIP. First, we present two novel prompts, a degradation-aware prompt to encode high-level degradation knowledge and a basic restoration prompt to provide essential low-level information. Second, we devise a novel prompt-to-prompt interaction module to fuse these two prompts into a universal restoration prompt. Third, we introduce a selective prompt-to-feature interaction module to modulate the degradation-related feature. By doing so, the resultant PIP works as a plug-and-play module to enhance existing restoration models for universal image restoration. Extensive experimental results demonstrate the superior performance of PIP on multiple restoration tasks, including image denoising, deraining, dehazing, deblurring, and low-light enhancement. Remarkably, PIP is interpretable, flexible, efficient, and easy-to-use, showing promising potential for real-world applications. The code is available at https://github.com/longzilicart/pip_universal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google