Probabilistic Prior Driven Attention Mechanism Based on Diffusion Model for Imaging Through Atmospheric Turbulence

要約

大気の乱気流により空間的および幾何学的に深刻な歪みが生じ、従来の画像復元方法が困難になります。
我々は、この問題に対処するために、確率的拡散ベースの事前モデリングとトランス駆動の特徴抽出を組み合わせた確率的事前乱流除去ネットワーク (PPTRN) を提案します。
PPTRN は 2 段階のアプローチを採用しています。まず、潜在エンコーダーとトランスフォーマーが鮮明な画像で共同トレーニングされ、堅牢な特徴表現が確立されます。
次に、ノイズ除去拡散確率モデル (DDPM) が潜在ベクトルにわたる以前の分布をモデル化し、Transformer が復元に不可欠なさまざまな特徴のバリエーションを捕捉できるように導きます。
PPTRN の主要な革新は、確率的事前駆動クロス アテンション メカニズムです。これは、DDPM で生成された事前と特徴埋め込みを統合して、アーティファクトを削減し、空間コヒーレンスを強化します。
広範な実験により、PPTRN が乱気流で劣化した画像の復元品質を大幅に向上させ、明瞭さと構造忠実度の新たなベンチマークを設定することが検証されました。

要約(オリジナル)

Atmospheric turbulence introduces severe spatial and geometric distortions, challenging traditional image restoration methods. We propose the Probabilistic Prior Turbulence Removal Network (PPTRN), which combines probabilistic diffusion-based prior modeling with Transformer-driven feature extraction to address this issue. PPTRN employs a two-stage approach: first, a latent encoder and Transformer are jointly trained on clear images to establish robust feature representations. Then, a Denoising Diffusion Probabilistic Model (DDPM) models prior distributions over latent vectors, guiding the Transformer in capturing diverse feature variations essential for restoration. A key innovation in PPTRN is the Probabilistic Prior Driven Cross Attention mechanism, which integrates the DDPM-generated prior with feature embeddings to reduce artifacts and enhance spatial coherence. Extensive experiments validate that PPTRN significantly improves restoration quality on turbulence-degraded images, setting a new benchmark in clarity and structural fidelity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google