Beyond SOT: Tracking Multiple Generic Objects at Once

要約

タイトル：SOTを超えて：複数の汎用オブジェクトを一度に追跡する
要約：
・Generic Object Tracking（GOT）は、ビデオの最初のフレームでバウンディングボックスで指定されたターゲットオブジェクトを追跡する問題である。
・過去数十年間、このタスクは多くの注目を集めてきたが、研究者はほとんどがシングルオブジェクトの設定に集中している。
・マルチオブジェクトGOTは、より広範な応用可能性を持つため、現実の世界のアプリケーションではより魅力的である。
・我々は、この問題への研究関心の欠如を、適切なベンチマークの欠如に帰する。
・本研究では、複数の注釈付きターゲットオブジェクトを含む新しい大規模なGOTベンチマーク、LaGOTを紹介する。
・我们のベンチマークにより、複数のオブジェクトを同時に追跡することにより、GOTに残された主要な課題に取り組むことができ、ロバスト性を高め、計算量を削減することができる。
・また、共有計算を通じて複数のオブジェクトの共同処理が可能なトランスフォーマーベースのGOTトラッカーのベースラインを提案する。
・我々のアプローチは、10個の同時オブジェクトの場合、それぞれのオブジェクトを独立して追跡する場合に比べて4倍高速な実行時間を実現し、既存のシングルオブジェクトトラッカーを新しいベンチマークで上回る。
・また、我々のアプローチは、シングルオブジェクトGOTデータセットで非常に競争力のある結果を達成し、成功率AUCが84.4%のTrackingNetで新たな最高レベルを設定している。
・私たちのベンチマーク、コード、トレーニングモデルは公開されます。

要約(オリジナル)

Generic Object Tracking (GOT) is the problem of tracking target objects, specified by bounding boxes in the first frame of a video. While the task has received much attention in the last decades, researchers have almost exclusively focused on the single object setting. Multi-object GOT benefits from a wider applicability, rendering it more attractive in real-world applications. We attribute the lack of research interest into this problem to the absence of suitable benchmarks. In this work, we introduce a new large-scale GOT benchmark, LaGOT, containing multiple annotated target objects per sequence. Our benchmark allows users to tackle key remaining challenges in GOT, aiming to increase robustness and reduce computation through joint tracking of multiple objects simultaneously. In addition, we propose a transformer-based GOT tracker baseline capable of joint processing of multiple objects through shared computation. Our approach achieves a 4x faster run-time in case of 10 concurrent objects compared to tracking each object independently and outperforms existing single object trackers on our new benchmark. In addition, our approach achieves highly competitive results on single-object GOT datasets, setting a new state of the art on TrackingNet with a success rate AUC of 84.4%. Our benchmark, code, and trained models will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI