Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution

要約

画像超解像度 (SR) は、古典的でありながら依然として活発な低レベルの視覚問題であり、低解像度 (LR) の画像から高解像度 (HR) 画像を再構築することを目的としており、画像強調の重要な技術として機能します。
トランスベースや拡散ベースの方法など、SR タスクに対処する現在のアプローチは、RGB 画像の特徴を抽出するか、同様の劣化パターンを想定することに専念しており、赤外線画像と可視画像の間に固有のモードの違いを無視しています。
これらの方法を赤外線画像 SR タスクに直接適用すると、必然的に赤外線スペクトル分布が歪み、下流タスクでの機械の認識が損なわれます。
この研究では、赤外スペクトル分布の忠実度を強調し、スペクトル分布の忠実度を維持しながら赤外モーダル固有の特徴を復元するための Contourlet 改良ゲート フレームワークを提案します。
私たちのアプローチは、マルチスケールおよび多方向の赤外線スペクトル分解からハイパスサブバンドを捕捉し、ゲートアーキテクチャを通じて赤外線で劣化した情報を復元します。
提案されたスペクトル忠実度損失は、再構成中にスペクトル周波数分布を規則化し、高周波成分と低周波成分の両方の保存を保証し、赤外線特有の特徴の忠実度を維持します。
モデルが LR 劣化から赤外 HR 特性を学習できるように、2 段階の即時学習最適化を提案します。
広範な実験により、私たちのアプローチが視覚タスクと知覚タスクの両方で既存の画像 SR モデルを上回り、下流タスクでの機械の知覚を著しく向上させることが実証されました。
私たちのコードは https://github.com/hey-it-s-me/CoRPLE で入手できます。

要約(オリジナル)

Image super-resolution (SR) is a classical yet still active low-level vision problem that aims to reconstruct high-resolution (HR) images from their low-resolution (LR) counterparts, serving as a key technique for image enhancement. Current approaches to address SR tasks, such as transformer-based and diffusion-based methods, are either dedicated to extracting RGB image features or assuming similar degradation patterns, neglecting the inherent modal disparities between infrared and visible images. When directly applied to infrared image SR tasks, these methods inevitably distort the infrared spectral distribution, compromising the machine perception in downstream tasks. In this work, we emphasize the infrared spectral distribution fidelity and propose a Contourlet refinement gate framework to restore infrared modal-specific features while preserving spectral distribution fidelity. Our approach captures high-pass subbands from multi-scale and multi-directional infrared spectral decomposition to recover infrared-degraded information through a gate architecture. The proposed Spectral Fidelity Loss regularizes the spectral frequency distribution during reconstruction, which ensures the preservation of both high- and low-frequency components and maintains the fidelity of infrared-specific features. We propose a two-stage prompt-learning optimization to guide the model in learning infrared HR characteristics from LR degradation. Extensive experiments demonstrate that our approach outperforms existing image SR models in both visual and perceptual tasks while notably enhancing machine perception in downstream tasks. Our code is available at https://github.com/hey-it-s-me/CoRPLE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google