RGB-D Tracking via Hierarchical Modality Aggregation and Distribution Network

要約

デュアルモーダル機能の統合は、RGB深度（RGB-D）追跡を進める上で極めて重要です。
ただし、現在のトラッカーは効率が低く、単一レベルの機能のみに焦点を当てているため、融合の堅牢性が弱くなり、実際のアプリケーションの要求を満たすことができない速度が遅くなります。
この論文では、これらの課題に対処するHMAD（階層モダリティの集約と分布）として示される新しいネットワークを紹介します。
HMADは、RGBと深さのモダリティの明確な特徴表現強度を活用し、特徴分布と融合の階層的アプローチに顕著になり、それによりRGB-D追跡の堅牢性を高めます。
さまざまなRGB-Dデータセットの実験結果は、HMADが最先端のパフォーマンスを達成することを示しています。
さらに、実際の実験は、リアルタイムシナリオでさまざまな追跡課題を効果的に処理するHMADの能力をさらに検証します。

要約(オリジナル)

The integration of dual-modal features has been pivotal in advancing RGB-Depth (RGB-D) tracking. However, current trackers are less efficient and focus solely on single-level features, resulting in weaker robustness in fusion and slower speeds that fail to meet the demands of real-world applications. In this paper, we introduce a novel network, denoted as HMAD (Hierarchical Modality Aggregation and Distribution), which addresses these challenges. HMAD leverages the distinct feature representation strengths of RGB and depth modalities, giving prominence to a hierarchical approach for feature distribution and fusion, thereby enhancing the robustness of RGB-D tracking. Experimental results on various RGB-D datasets demonstrate that HMAD achieves state-of-the-art performance. Moreover, real-world experiments further validate HMAD’s capacity to effectively handle a spectrum of tracking challenges in real-time scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google