Prompt-based All-in-One Image Restoration using CNNs and Transformer

要約

画像復元は、劣化した観察結果から高品質の画像を復元することを目的としています。
既存の方法のほとんどは単一の劣化の除去に特化しているため、他のタイプの劣化では最適な結果が得られない可能性があり、現実世界のシナリオでのアプリケーションを満足させません。
この論文では、プロンプトベースの学習を活用して単一のモデルが複数の画像劣化タスクに効率的に取り組めるようにする、新しいデータ成分指向のアプローチを提案します。
具体的には、エンコーダを利用して特徴をキャプチャし、さまざまな劣化の影響を受けた画像を適応的に回復する際にデコーダをガイドする劣化固有の情報を含むプロンプトを導入します。
高品質の画像復元のためのローカル不変特性と非ローカル情報をモデル化するために、CNN の操作とトランスフォーマーを組み合わせました。
同時に、計算​​要件を削減し、潜在的に鮮明な画像の効率的な回復を促進するためにどの情報を保持する必要があるかを選択的に決定するために、Transformer ブロックでいくつかの主要な設計 (プロンプトを備えたマルチヘッドの再配置された注意とシンプルなゲートのフィードフォワード ネットワーク) を作成しました。
さらに、特徴融合メカニズムを組み込んで、マルチスケール情報をさらに調査し、集約された特徴を改善します。
その結果、CAPTNet と名付けられた緊密に相互リンクされた階層アーキテクチャは、さまざまな種類の劣化を処理するように設計されているにもかかわらず、広範な実験により、私たちの手法がタスク固有のアルゴリズムと競合して実行されることが実証されました。

要約(オリジナル)

Image restoration aims to recover the high-quality images from their degraded observations. Since most existing methods have been dedicated into single degradation removal, they may not yield optimal results on other types of degradations, which do not satisfy the applications in real world scenarios. In this paper, we propose a novel data ingredient-oriented approach that leverages prompt-based learning to enable a single model to efficiently tackle multiple image degradation tasks. Specifically, we utilize a encoder to capture features and introduce prompts with degradation-specific information to guide the decoder in adaptively recovering images affected by various degradations. In order to model the local invariant properties and non-local information for high-quality image restoration, we combined CNNs operations and Transformers. Simultaneously, we made several key designs in the Transformer blocks (multi-head rearranged attention with prompts and simple-gate feed-forward network) to reduce computational requirements and selectively determines what information should be persevered to facilitate efficient recovery of potentially sharp images. Furthermore, we incorporate a feature fusion mechanism further explores the multi-scale information to improve the aggregated features. The resulting tightly interlinked hierarchy architecture, named as CAPTNet, despite being designed to handle different types of degradations, extensive experiments demonstrate that our method performs competitively to the task-specific algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google