Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration

要約

特定の劣化に対するタスク固有および一般的な画像復元方法には限界があるため、オールインワン画像復元技術の開発が促されています。
しかし、複数の劣化間のパターンの多様性と、異なる重大度の劣化画像とそれに対応する歪みのないバージョンの間のマッピングにおける重大な不確実性が、オールインワンの復元タスクに大きな課題をもたらします。
これらの課題に対処するために、私たちは Perceive-IR を提案します。Perceive-IR は、劣化の種類や程度に関係なく、復元された画像を歪みのない画像にさらに近づけることができる、きめ細かい品質管理を実現するように設計されたオールインワンの画像復元ツールです。
具体的には、Perceive-IR には、(1) 即時学習ステージと (2) 復元ステージの 2 つのステージが含まれます。
プロンプト学習段階では、プロンプト学習を利用して、CLIP 知覚空間におけるプロンプト画像の類似性を制約することで 3 段階の品質レベルを区別できるきめ細かい品質知覚器を取得します。
その後、この品質知覚と難易度適応型知覚損失が品質を意識した学習戦略として統合され、修復段階でのきめ細かい品質管理が実現されます。
修復段階では、事前トレーニングされた大規模視覚モデルからの堅牢な意味情報を利用し、劣化固有の特徴を区別することにより、修復プロセスをさらに促進するために、意味論的ガイダンス モジュール (SGM) とコンパクト特徴抽出 (CFE) が提案されています。
広範な実験により、当社の Perceive-IR はオールインワンの画像復元タスクにおいて最先端の手法を上回っており、目に見えないタスクを処理する際に優れた一般化能力を発揮することが実証されています。

要約(オリジナル)

The limitations of task-specific and general image restoration methods for specific degradation have prompted the development of all-in-one image restoration techniques. However, the diversity of patterns among multiple degradation, along with the significant uncertainties in mapping between degraded images of different severities and their corresponding undistorted versions, pose significant challenges to the all-in-one restoration tasks. To address these challenges, we propose Perceive-IR, an all-in-one image restorer designed to achieve fine-grained quality control that enables restored images to more closely resemble their undistorted counterparts, regardless of the type or severity of degradation. Specifically, Perceive-IR contains two stages: (1) prompt learning stage and (2) restoration stage. In the prompt learning stage, we leverage prompt learning to acquire a fine-grained quality perceiver capable of distinguishing three-tier quality levels by constraining the prompt-image similarity in the CLIP perception space. Subsequently, this quality perceiver and difficulty-adaptive perceptual loss are integrated as a quality-aware learning strategy to realize fine-grained quality control in restoration stage. For the restoration stage, a semantic guidance module (SGM) and compact feature extraction (CFE) are proposed to further promote the restoration process by utilizing the robust semantic information from the pre-trained large scale vision models and distinguishing degradation-specific features. Extensive experiments demonstrate that our Perceive-IR outperforms state-of-the-art methods in all-in-one image restoration tasks and exhibit superior generalization ability when dealing with unseen tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google