Learning Dual-Fused Modality-Aware Representations for RGBD Tracking

要約

近年の深度センサーの開発により、RGBD オブジェクト追跡が大きな注目を集めています。
従来のRGBオブジェクト追跡と比較して、深度モダリティの追加により、ターゲットと背景の干渉を効果的に解決できます。
ただし、一部の既存の RGBD トラッカーは 2 つのモダリティを別々に使用するため、それらの間で特に有用な共有情報が無視されます。
一方、いくつかの方法は、2 つのモダリティを同等に扱うことによって融合を試み、その結果、モダリティ固有の機能が失われます。
これらの制限に取り組むために、堅牢なRGBD追跡のためにターゲットオブジェクトの有益で識別可能な表現を学習することを目的とした、新しいデュアル融合モダリティ認識トラッカー（DMTrackerと呼ばれる）を提案します。
最初の融合モジュールは、クロスモーダルの注意に基づいてモダリティ間で共有される情報を抽出することに焦点を当てています。
2 つ目は、RGB 固有の情報と深度固有の情報を統合して、融合した機能を強化することを目的としています。
モダリティ認識スキームでモダリティ共有情報とモダリティ固有の情報の両方を融合することにより、DMTracker は複雑な追跡シーンで識別表現を学習できます。
実験では、提案されたトラッカーが困難な RGBD ベンチマークで非常に有望な結果を達成することが示されています。

要約(オリジナル)

With the development of depth sensors in recent years, RGBD object tracking has received significant attention. Compared with the traditional RGB object tracking, the addition of the depth modality can effectively solve the target and background interference. However, some existing RGBD trackers use the two modalities separately and thus some particularly useful shared information between them is ignored. On the other hand, some methods attempt to fuse the two modalities by treating them equally, resulting in the missing of modality-specific features. To tackle these limitations, we propose a novel Dual-fused Modality-aware Tracker (termed DMTracker) which aims to learn informative and discriminative representations of the target objects for robust RGBD tracking. The first fusion module focuses on extracting the shared information between modalities based on cross-modal attention. The second aims at integrating the RGB-specific and depth-specific information to enhance the fused features. By fusing both the modality-shared and modality-specific information in a modality-aware scheme, our DMTracker can learn discriminative representations in complex tracking scenes. Experiments show that our proposed tracker achieves very promising results on challenging RGBD benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google