Learning Phase Distortion with Selective State Space Models for Video Turbulence Mitigation

要約

大気乱流は、長距離撮像システムにおける画像劣化の主な原因である。ディープラーニングに基づく乱流緩和（TM）手法は数多く提案されているが、その多くは処理速度が遅く、メモリ消費量が多く、汎化性に乏しい。空間領域では、畳み込み演算子に基づく手法は受容野が限られているため、乱流が必要とする大きな空間依存性を扱うことができない。時間領域では、自己アテンションに依存する方法は、理論的には乱流の幸運な効果を活用することができるが、2次関数的な複雑さのため、多くのフレームに拡張することが困難である。従来のリカレント集約法は並列化の課題に直面している。 (1)選択的状態空間モデル（MambaTM）に基づく乱流緩和ネットワーク。MambaTMは、線形計算複雑性を維持しながら、空間的・時間的次元に渡って各層にグローバルな受容野を提供する。(2) 学習された潜在位相歪み(LPD)。LPDは状態空間モデルを導く。古典的なゼルニケベースの位相歪み表現とは異なり、新しいLPDマップは乱流の実際の影響をユニークに捉え、非投影度を減らすことで劣化を推定するモデルの能力を大幅に向上させる。我々の提案手法は、様々な合成および実世界のTMベンチマークにおいて、現在の最先端ネットワークを凌駕し、推論速度が大幅に向上した。コードはhttp://github.com/xg416/MambaTM。

要約(オリジナル)

Atmospheric turbulence is a major source of image degradation in long-range imaging systems. Although numerous deep learning-based turbulence mitigation (TM) methods have been proposed, many are slow, memory-hungry, and do not generalize well. In the spatial domain, methods based on convolutional operators have a limited receptive field, so they cannot handle a large spatial dependency required by turbulence. In the temporal domain, methods relying on self-attention can, in theory, leverage the lucky effects of turbulence, but their quadratic complexity makes it difficult to scale to many frames. Traditional recurrent aggregation methods face parallelization challenges. In this paper, we present a new TM method based on two concepts: (1) A turbulence mitigation network based on the Selective State Space Model (MambaTM). MambaTM provides a global receptive field in each layer across spatial and temporal dimensions while maintaining linear computational complexity. (2) Learned Latent Phase Distortion (LPD). LPD guides the state space model. Unlike classical Zernike-based representations of phase distortion, the new LPD map uniquely captures the actual effects of turbulence, significantly improving the model’s capability to estimate degradation by reducing the ill-posedness. Our proposed method exceeds current state-of-the-art networks on various synthetic and real-world TM benchmarks with significantly faster inference speed. The code is available at http://github.com/xg416/MambaTM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL