Lost and Found: Overcoming Detector Failures in Online Multi-Object Tracking

要約

マルチオブジェクト追跡 (MOT) は、複数のオブジェクトの位置とアイデンティティを時間の経過とともに正確に推定しようとします。
一般的なアプローチである検出による追跡 (TbD) は、最初にオブジェクトを検出し、次に検出をリンクすることで、シンプルかつ効果的な方法となります。
ただし、最新の検出器は特定のフレームで一部のオブジェクトを見逃す場合があり、トラッカーが追跡を途中で停止することがあります。
この問題に取り組むために、私たちは、あらゆるオンライン TbD システムと互換性のある多用途フレームワークである BUSCA (「検索する」という意味) を提案します。これにより、主に遮蔽が原因で検出器が見逃したオブジェクトを永続的に追跡する機能が強化されます。
注目すべきことに、これは、過去の追跡結果を変更したり将来のフレームにアクセスしたりすることなく、つまり完全にオンラインで実現されます。
BUSCA は、隣接するトラック、モーション、学習されたトークンに基づいて提案を生成します。
マルチモーダルな視覚情報と時空間情報を統合する意思決定トランスフォーマーを利用して、オブジェクトと提案の関連付けを多肢選択の質問応答タスクとして扱います。
BUSCA は、基礎となるトラッカーとは独立して、微調整を必要とせず、合成データのみに基づいてトレーニングされます。
BUSCA を通じて、5 つの異なるトラッカーにわたる一貫したパフォーマンスの向上を示し、3 つの異なるベンチマークにわたる新しい最先端のベースラインを確立します。
コードは https://github.com/lorenzovaquero/BUSCA で入手できます。

要約(オリジナル)

Multi-object tracking (MOT) endeavors to precisely estimate the positions and identities of multiple objects over time. The prevailing approach, tracking-by-detection (TbD), first detects objects and then links detections, resulting in a simple yet effective method. However, contemporary detectors may occasionally miss some objects in certain frames, causing trackers to cease tracking prematurely. To tackle this issue, we propose BUSCA, meaning `to search’, a versatile framework compatible with any online TbD system, enhancing its ability to persistently track those objects missed by the detector, primarily due to occlusions. Remarkably, this is accomplished without modifying past tracking results or accessing future frames, i.e., in a fully online manner. BUSCA generates proposals based on neighboring tracks, motion, and learned tokens. Utilizing a decision Transformer that integrates multimodal visual and spatiotemporal information, it addresses the object-proposal association as a multi-choice question-answering task. BUSCA is trained independently of the underlying tracker, solely on synthetic data, without requiring fine-tuning. Through BUSCA, we showcase consistent performance enhancements across five different trackers and establish a new state-of-the-art baseline across three different benchmarks. Code available at: https://github.com/lorenzovaquero/BUSCA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google