Quaternion Wavelet-Conditioned Diffusion Models for Image Super-Resolution

要約

画像の超解像は、コンピュータビジョンにおける基本的な問題であり、医用画像から衛星解析まで幅広い応用が可能である。低解像度の入力から高解像度の画像を再構成する能力は、物体検出やセグメンテーションといった下流のタスクを強化する上で極めて重要である。ディープラーニングはSRを大幅に進化させたが、きめ細かいディテールとリアルなテクスチャを持つ高品質な再構成を達成することは、特にアップスケーリング係数が高い場合、依然として困難である。拡散モデルを活用した最近のアプローチは有望な結果を示しているが、知覚品質と構造忠実度のバランスを取るのに苦労することが多い。この研究では、新しいクォータニオンウェーブレットと時間認識エンコーダを組み込んだ、クォータニオンウェーブレット前処理フレームワークと潜在拡散モデルを統合した新しいSRフレームワークResQuを紹介する。単に拡散モデル内にウェーブレット変換を適用する先行手法とは異なり、本アプローチは、ノイズ除去の異なる段階で動的に統合される四元数ウェーブレット埋め込みを利用することで、コンディショニングプロセスを強化する。さらに、Stable Diffusionのような基礎モデルの生成的事前分布を活用する。領域固有のデータセットを用いた広範な実験により、本手法が優れたSR結果を達成し、知覚品質や標準的な評価指標において、多くの場合既存のアプローチを凌駕することが実証された。コードは改訂作業後に公開される予定である。

要約(オリジナル)

Image Super-Resolution is a fundamental problem in computer vision with broad applications spacing from medical imaging to satellite analysis. The ability to reconstruct high-resolution images from low-resolution inputs is crucial for enhancing downstream tasks such as object detection and segmentation. While deep learning has significantly advanced SR, achieving high-quality reconstructions with fine-grained details and realistic textures remains challenging, particularly at high upscaling factors. Recent approaches leveraging diffusion models have demonstrated promising results, yet they often struggle to balance perceptual quality with structural fidelity. In this work, we introduce ResQu a novel SR framework that integrates a quaternion wavelet preprocessing framework with latent diffusion models, incorporating a new quaternion wavelet- and time-aware encoder. Unlike prior methods that simply apply wavelet transforms within diffusion models, our approach enhances the conditioning process by exploiting quaternion wavelet embeddings, which are dynamically integrated at different stages of denoising. Furthermore, we also leverage the generative priors of foundation models such as Stable Diffusion. Extensive experiments on domain-specific datasets demonstrate that our method achieves outstanding SR results, outperforming in many cases existing approaches in perceptual quality and standard evaluation metrics. The code will be available after the revision process.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL