RGB-Sonar Tracking Benchmark and Spatial Cross-Attention Transformer Tracker

要約

ビジョンカメラとソナーは、水中環境では当然補完的です。
2 つのモダリティからの情報を組み合わせることで、水中のターゲットのより良い観察が促進されます。
しかし、この問題はこれまでの研究では十分に注目されていませんでした。
したがって、この論文では、新しい挑戦的な RGB ソナー (RGB-S) 追跡タスクを導入し、RGB とソナー モダリティの相互作用を通じて水中ターゲットの効率的な追跡を達成する方法を調査します。
具体的には、まず、50 のシーケンスと 87,000 を超える高品質の注釈付き境界ボックスを含む RGBS50 ベンチマーク データセットを提案します。
実験結果は、RGBS50 ベンチマークが現在普及している SOT トラッカーにとって課題となることを示しています。
次に、SCANet と呼ばれる RGB-S トラッカーを提案します。これには、新しい空間クロスアテンション レイヤーと 2 つの独立したグローバル統合モジュールで構成される空間クロスアテンション モジュール (SCAM) が含まれています。
空間クロスアテンションは、RGB イメージとソナー画像間の空間的位置ずれの問題を克服するために使用されます。
第三に、RGB-S トレーニング データセットの不足を克服するために、SOT データベースの RGB-S シミュレーション トレーニング方法 (SRST) を提案します。
RGB 画像をソナーのような顕著性画像に変換して擬似データ ペアを構築し、モデルが RGB-S のようなデータの意味構造を学習できるようにします。
包括的な実験により、提案された空間クロスアテンションが RGB とソナー モダリティ間の相互作用を効果的に実現し、SCANet が提案されたベンチマークで最先端のパフォーマンスを達成することが示されました。
コードは https://github.com/LiYunfengLYF/RGBS50 で入手できます。

要約(オリジナル)

Vision camera and sonar are naturally complementary in the underwater environment. Combining the information from two modalities will promote better observation of underwater targets. However, this problem has not received sufficient attention in previous research. Therefore, this paper introduces a new challenging RGB-Sonar (RGB-S) tracking task and investigates how to achieve efficient tracking of an underwater target through the interaction of RGB and sonar modalities. Specifically, we first propose an RGBS50 benchmark dataset containing 50 sequences and more than 87000 high-quality annotated bounding boxes. Experimental results show that the RGBS50 benchmark poses a challenge to currently popular SOT trackers. Second, we propose an RGB-S tracker called SCANet, which includes a spatial cross-attention module (SCAM) consisting of a novel spatial cross-attention layer and two independent global integration modules. The spatial cross-attention is used to overcome the problem of spatial misalignment of between RGB and sonar images. Third, we propose a SOT data-based RGB-S simulation training method (SRST) to overcome the lack of RGB-S training datasets. It converts RGB images into sonar-like saliency images to construct pseudo-data pairs, enabling the model to learn the semantic structure of RGB-S-like data. Comprehensive experiments show that the proposed spatial cross-attention effectively achieves the interaction between RGB and sonar modalities and SCANet achieves state-of-the-art performance on the proposed benchmark. The code is available at https://github.com/LiYunfengLYF/RGBS50.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google