Deep Linear Array Pushbroom Image Restoration: A Degradation Pipeline and Jitter-Aware Restoration Network

要約

リニア アレイ プッシュブルーム (LAP) イメージング テクノロジは、リモート センシングの分野で広く使用されています。
ただし、LAP を通じて取得した画像には、カメラのジッターによる歪みやぼやけが常に発生します。
点像分布関数 (PSF) を推定するアルゴリズムなど、LAP イメージを復元する従来の方法では、パフォーマンスが制限されています。
この問題に取り組むために、歪みとぼやけを 2 段階で除去する Jitter-Aware Restoration Network (JARNet) を提案します。
最初の段階では、オプティカル フロー補正 (OFC) ブロックを定式化して、劣化した LAP 画像のオプティカル フローを改善し、ほとんどの歪みが軽減された補正前の画像が得られます。
第 2 段階では、補正前の画像をさらに強化するために、空間周波数残差 (SFRes) ブロック内に 2 つのジッター対応技術を統合します。 1) 座標アテンション (CoA) を SFRes ブロックに導入して、
直交方向のジッター状態。
2) 空間領域と周波数領域の両方で画像特徴を操作して、ローカルおよびグローバル事前分布を活用します。
さらに、継続ダイナミック撮影モデル (CDSM) を適用して LAP 画像の現実的な劣化をシミュレートするデータ合成パイプラインを開発します。
提案されている JARNet と LAP の画像合成パイプラインは両方とも、この複雑な課題に対処するための基盤を確立します。
広範な実験により、提案された 2 段階の方法が最先端の画像復元モデルよりも優れていることが実証されました。
コードは https://github.com/JHW2000/JARNet で入手できます。

要約(オリジナル)

Linear Array Pushbroom (LAP) imaging technology is widely used in the realm of remote sensing. However, images acquired through LAP always suffer from distortion and blur because of camera jitter. Traditional methods for restoring LAP images, such as algorithms estimating the point spread function (PSF), exhibit limited performance. To tackle this issue, we propose a Jitter-Aware Restoration Network (JARNet), to remove the distortion and blur in two stages. In the first stage, we formulate an Optical Flow Correction (OFC) block to refine the optical flow of the degraded LAP images, resulting in pre-corrected images where most of the distortions are alleviated. In the second stage, for further enhancement of the pre-corrected images, we integrate two jitter-aware techniques within the Spatial and Frequency Residual (SFRes) block: 1) introducing Coordinate Attention (CoA) to the SFRes block in order to capture the jitter state in orthogonal direction; 2) manipulating image features in both spatial and frequency domains to leverage local and global priors. Additionally, we develop a data synthesis pipeline, which applies Continue Dynamic Shooting Model (CDSM) to simulate realistic degradation in LAP images. Both the proposed JARNet and LAP image synthesis pipeline establish a foundation for addressing this intricate challenge. Extensive experiments demonstrate that the proposed two-stage method outperforms state-of-the-art image restoration models. Code is available at https://github.com/JHW2000/JARNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google