MoCoPnet: Exploring Local Motion and Contrast Priors for Infrared Small Target Super-Resolution

要約

赤外線スモールターゲット超解像（SR）は、低解像度のターゲットから高コントラストのターゲットを使用して、信頼性が高く詳細な高解像度の画像を復元することを目的としています。
赤外線の小さなターゲットは色や微細構造の情報が不足しているため、シーケンス画像間の補足情報を活用してターゲットを強化することが重要です。
本論文では、赤外線スモールターゲットのドメイン知識をディープネットワークに統合するために、ローカルモーションとコントラストの事前駆動ディープネットワーク（MoCoPnet）と呼ばれる最初の赤外線スモールターゲットSR法を提案します。これにより、赤外線スモールターゲットの固有の機能不足を軽減できます。
具体的には、時空間次元の前の局所運動に動機付けられて、暗黙のフレームアラインメントを実行し、局所特徴を強化するために局所時空間情報を組み込むための局所時空間注意モジュールを提案します（特に小さなターゲットの場合）。
空間次元の前の局所コントラストに動機付けられて、中心差畳み込みを特徴抽出バックボーンに組み込むための中心差残差グループを提案します。これにより、中心指向の勾配認識特徴抽出を実現して、ターゲットコントラストをさらに改善できます。
広範な実験により、私たちの方法が正確な空間依存性を回復し、ターゲットのコントラストを改善できることが実証されました。
比較結果は、MoCoPnetが、SRのパフォーマンスとターゲットの強化の両方の点で、最先端のビデオSRおよびシングルイメージSRの方法よりも優れていることを示しています。
SRの結果に基づいて、赤外線の小さなターゲットの検出に対するSRの影響をさらに調査し、実験結果は、MoCoPnetが検出パフォーマンスを促進することを示しています。
コードはhttps://github.com/XinyiYing/MoCoPnetで入手できます。

要約(オリジナル)

Infrared small target super-resolution (SR) aims to recover reliable and detailed high-resolution image with highcontrast targets from its low-resolution counterparts. Since the infrared small target lacks color and fine structure information, it is significant to exploit the supplementary information among sequence images to enhance the target. In this paper, we propose the first infrared small target SR method named local motion and contrast prior driven deep network (MoCoPnet) to integrate the domain knowledge of infrared small target into deep network, which can mitigate the intrinsic feature scarcity of infrared small targets. Specifically, motivated by the local motion prior in the spatio-temporal dimension, we propose a local spatiotemporal attention module to perform implicit frame alignment and incorporate the local spatio-temporal information to enhance the local features (especially for small targets). Motivated by the local contrast prior in the spatial dimension, we propose a central difference residual group to incorporate the central difference convolution into the feature extraction backbone, which can achieve center-oriented gradient-aware feature extraction to further improve the target contrast. Extensive experiments have demonstrated that our method can recover accurate spatial dependency and improve the target contrast. Comparative results show that MoCoPnet can outperform the state-of-the-art video SR and single image SR methods in terms of both SR performance and target enhancement. Based on the SR results, we further investigate the influence of SR on infrared small target detection and the experimental results demonstrate that MoCoPnet promotes the detection performance. The code is available at https://github.com/XinyiYing/MoCoPnet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google