DeTurb: Atmospheric Turbulence Mitigation with Deformable 3D Convolutions and 3D Swin Transformers

要約

長距離イメージングにおける大気の乱気流は、空間的および時間的次元の両方におけるランダムな変動により、撮影されたシーンの品質と忠実度を大幅に低下させます。
これらの歪みは、監視から天文学に至るまで、さまざまな用途にわたって恐るべき課題を提示しており、強力な緩和戦略が必要です。
モデルベースのアプローチは良い結果をもたらしますが、非常に時間がかかります。
ディープラーニングのアプローチは、画像やビデオの復元において有望ですが、これらの時空間の変化による歪みに効果的に対処するのに苦労しています。
この論文では、幾何学的復元と拡張モジュールを組み合わせた新しいフレームワークを提案します。
ランダムな摂動と幾何学的歪みは、変形可能な 3D 畳み込みを備えたピラミッド アーキテクチャを使用して除去され、整列したフレームが得られます。
これらのフレームは、3D Swin Transformer のマルチスケール アーキテクチャを通じて鮮明で鮮明な画像を再構築するために使用されます。
提案されたフレームワークは、妥当な速度とモデル サイズで、合成および実際の大気乱流効果の両方について、最先端技術を上回る優れたパフォーマンスを示します。

要約(オリジナル)

Atmospheric turbulence in long-range imaging significantly degrades the quality and fidelity of captured scenes due to random variations in both spatial and temporal dimensions. These distortions present a formidable challenge across various applications, from surveillance to astronomy, necessitating robust mitigation strategies. While model-based approaches achieve good results, they are very slow. Deep learning approaches show promise in image and video restoration but have struggled to address these spatiotemporal variant distortions effectively. This paper proposes a new framework that combines geometric restoration with an enhancement module. Random perturbations and geometric distortion are removed using a pyramid architecture with deformable 3D convolutions, resulting in aligned frames. These frames are then used to reconstruct a sharp, clear image via a multi-scale architecture of 3D Swin Transformers. The proposed framework demonstrates superior performance over the state of the art for both synthetic and real atmospheric turbulence effects, with reasonable speed and model size.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google