Tell Me What to Track: Infusing Robust Language Guidance for Enhanced Referring Multi-Object Tracking

要約

参照マルチオブジェクト追跡（RMOT）は、言語表現に基づいて任意の数のターゲットをローカライズし、ビデオで継続的に追跡することを目的とする新たなクロスモーダルタスクです。
この複雑なタスクには、マルチモーダルデータの推論と、時間的関連性との正確なターゲットローカリゼーションが含まれます。
ただし、以前の研究では、タスクの性質により、新生児のターゲットと既存のターゲットとの間の不均衡なデータ分布を見落としています。
さらに、それらは間接的にマルチモーダル機能を融合し、新生児のターゲット検出に関する明確なガイダンスを提供するのに苦労しています。
上記の問題を解決するために、私たちは不均衡の影響を軽減するために共同マッチング戦略を実施し、追跡パフォーマンスを維持しながら新生児のターゲットを検出する能力を高めます。
エンコーダーでは、クロスモーダルとマルチスケールの融合を統合および強化し、以前の作業でボトルネックを克服します。
デコーダーでは、クエリトークンを介して明示的な参照ガイダンスを提供する参照浸透適応も開発します。
この実験では、以前の作品と比較してモデルの優れた性能（+3.42％）を示しており、設計の有効性を示しています。

要約(オリジナル)

Referring multi-object tracking (RMOT) is an emerging cross-modal task that aims to localize an arbitrary number of targets based on a language expression and continuously track them in a video. This intricate task involves reasoning on multi-modal data and precise target localization with temporal association. However, prior studies overlook the imbalanced data distribution between newborn targets and existing targets due to the nature of the task. In addition, they only indirectly fuse multi-modal features, struggling to deliver clear guidance on newborn target detection. To solve the above issues, we conduct a collaborative matching strategy to alleviate the impact of the imbalance, boosting the ability to detect newborn targets while maintaining tracking performance. In the encoder, we integrate and enhance the cross-modal and multi-scale fusion, overcoming the bottlenecks in previous work, where limited multi-modal information is shared and interacted between feature maps. In the decoder, we also develop a referring-infused adaptation that provides explicit referring guidance through the query tokens. The experiments showcase the superior performance of our model (+3.42%) compared to prior works, demonstrating the effectiveness of our designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google