SelfPromer: Self-Prompt Dehazing Transformers with Depth-Consistency

要約

この研究では、画像のかすみ除去のための効果的な深度一貫性セルフプロンプト トランスフォーマーを紹介します。
これは、ヘイズ残差のある画像とその透明な画像の推定深度が変化するという観察によって動機付けられています。
したがって、かすみを除去した画像と鮮明な画像の深さの一貫性を確保することは、かすみを除去するために不可欠です。
この目的のために、霞んだ入力画像と対応する透明な画像との間の深さの違いの特徴に基づいて、より良い復元のためのかすみ除去モデルをガイドできるプロンプトを開発します。
具体的には、まず入力画像から抽出した深度特徴を深度差分特徴に適用して、入力にヘイズ残差情報を含むプロンプトを生成します。
次に、深い特徴にプロンプ​​トを線形的に追加することにより、ヘイズ残差を認識するように設計されたプロンプト埋め込みモジュールを提案します。
さらに、より効果的に除去するためにヘイズ残留物にさらに注意を払うための効果的な即時注意モジュールを開発します。
プロンプト、プロンプト埋め込み、およびプロンプト アテンションを VQGAN に基づくエンコーダ/デコーダ ネットワークに組み込むことで、より優れた知覚品質を達成できます。
鮮明な画像の深度は推論時に利用できず、1 回のフィードフォワード実行によるかすみ除去画像にはまだかすみ残留部分の一部が含まれている可能性があるため、かすみ除去モデルを反復的に修正できる新しい連続セルフプロンプト推論を提案します。
より優れたかすみのない画像生成。
広範な実験により、NIQE、PI、PIQE などの知覚指標の観点から、合成データセットと現実世界のデータセットの両方で、私たちの方法が最先端のアプローチに対して有利に機能することが示されています。

要約(オリジナル)

This work presents an effective depth-consistency self-prompt Transformer for image dehazing. It is motivated by an observation that the estimated depths of an image with haze residuals and its clear counterpart vary. Enforcing the depth consistency of dehazed images with clear ones, therefore, is essential for dehazing. For this purpose, we develop a prompt based on the features of depth differences between the hazy input images and corresponding clear counterparts that can guide dehazing models for better restoration. Specifically, we first apply deep features extracted from the input images to the depth difference features for generating the prompt that contains the haze residual information in the input. Then we propose a prompt embedding module that is designed to perceive the haze residuals, by linearly adding the prompt to the deep features. Further, we develop an effective prompt attention module to pay more attention to haze residuals for better removal. By incorporating the prompt, prompt embedding, and prompt attention into an encoder-decoder network based on VQGAN, we can achieve better perception quality. As the depths of clear images are not available at inference, and the dehazed images with one-time feed-forward execution may still contain a portion of haze residuals, we propose a new continuous self-prompt inference that can iteratively correct the dehazing model towards better haze-free image generation. Extensive experiments show that our method performs favorably against the state-of-the-art approaches on both synthetic and real-world datasets in terms of perception metrics including NIQE, PI, and PIQE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google