Cross-View Referring Multi-Object Tracking

要約

マルチオブジェクト追跡 (RMOT) の参照は、現在の追跡分野における重要なトピックです。
そのタスク形式は、言語記述に一致するオブジェクトを追跡するようにトラッカーをガイドすることです。
現在の研究は主に、単一ビューの下でのマルチオブジェクト追跡を参照することに焦点を当てています。単一ビューは、ビュー シーケンスまたは複数の無関係なビュー シーケンスを指します。
ただし、単一ビューでは、オブジェクトの一部の外観が見えにくくなり、その結果、オブジェクトと言語記述が不正確に一致します。
この研究では、Cross-view Referring Multi-Object Tracking (CRMOT) と呼ばれる新しいタスクを提案します。
複数のビューからオブジェクトの外観を取得するクロスビューを導入し、RMOT タスクでオブジェクトの外観が見えない問題を回避します。
CRMOT は、言語記述に一致するオブジェクトを正確に追跡し、各クロスビューでオブジェクトの同一性の一貫性を維持するという、より困難なタスクです。
CRMOT タスクを進めるために、CAMPUS および DIVOTrack データセットに基づいて、CRTrack という名前のクロスビュー参照マルチオブジェクト追跡ベンチマークを構築します。
具体的には、13 の異なるシーンと 221 の言語の説明が提供されます。
さらに、CRTracker と呼ばれる、エンドツーエンドのクロスビュー参照マルチオブジェクト追跡手法を提案します。
CRTrack ベンチマークでの広範な実験により、私たちの手法の有効性が検証されました。
データセットとコードは https://github.com/chen-si-jia/CRMOT で入手できます。

要約(オリジナル)

Referring Multi-Object Tracking (RMOT) is an important topic in the current tracking field. Its task form is to guide the tracker to track objects that match the language description. Current research mainly focuses on referring multi-object tracking under single-view, which refers to a view sequence or multiple unrelated view sequences. However, in the single-view, some appearances of objects are easily invisible, resulting in incorrect matching of objects with the language description. In this work, we propose a new task, called Cross-view Referring Multi-Object Tracking (CRMOT). It introduces the cross-view to obtain the appearances of objects from multiple views, avoiding the problem of the invisible appearances of objects in RMOT task. CRMOT is a more challenging task of accurately tracking the objects that match the language description and maintaining the identity consistency of objects in each cross-view. To advance CRMOT task, we construct a cross-view referring multi-object tracking benchmark based on CAMPUS and DIVOTrack datasets, named CRTrack. Specifically, it provides 13 different scenes and 221 language descriptions. Furthermore, we propose an end-to-end cross-view referring multi-object tracking method, named CRTracker. Extensive experiments on the CRTrack benchmark verify the effectiveness of our method. The dataset and code are available at https://github.com/chen-si-jia/CRMOT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google