SAM2MOT: A Novel Paradigm of Multi-Object Tracking by Segmentation

要約

Segment Anything 2 (SAM2)は、セグメンテーションを用いたロバストな単一物体追跡を可能にする。これをマルチオブジェクトトラッキング(MOT)に拡張するために、我々はSAM2MOTを提案し、新しいセグメンテーションによるトラッキングパラダイムを導入する。検出によるトラッキングやクエリによるトラッキングとは異なり、SAM2MOTはセグメンテーションマスクからトラッキングボックスを直接生成し、検出精度への依存を減らします。SAM2MOTには2つの重要な利点がある：ゼロショット汎化により、微調整なしにデータセット間で動作することが可能であることと、SAM2から継承された強力なオブジェクト関連付けである。さらにパフォーマンスを向上させるために、オブジェクトの正確な追加と削除のための軌跡マネージャシステムと、オクルージョンを処理するためのクロスオブジェクト相互作用モジュールを統合した。DanceTrack、UAVDT、BDD100Kを用いた実験では、最先端の結果が得られた。特に、SAM2MOTは、DanceTrackにおいて既存手法を+2.1 HOTAと+4.5 IDF1上回り、MOTにおける有効性を強調している。コードはhttps://github.com/TripleJoy/SAM2MOT。

要約(オリジナル)

Segment Anything 2 (SAM2) enables robust single-object tracking using segmentation. To extend this to multi-object tracking (MOT), we propose SAM2MOT, introducing a novel Tracking by Segmentation paradigm. Unlike Tracking by Detection or Tracking by Query, SAM2MOT directly generates tracking boxes from segmentation masks, reducing reliance on detection accuracy. SAM2MOT has two key advantages: zero-shot generalization, allowing it to work across datasets without fine-tuning, and strong object association, inherited from SAM2. To further improve performance, we integrate a trajectory manager system for precise object addition and removal, and a cross-object interaction module to handle occlusions. Experiments on DanceTrack, UAVDT, and BDD100K show state-of-the-art results. Notably, SAM2MOT outperforms existing methods on DanceTrack by +2.1 HOTA and +4.5 IDF1, highlighting its effectiveness in MOT. Code is available at https://github.com/TripleJoy/SAM2MOT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL