LaMOT: Language-Guided Multi-Object Tracking

要約

視覚言語 MOT は重要な追跡問題であり、最近ますます注目を集めています。
これは、従来の追跡タスクにおけるテンプレートやトレーニング セットからの事前設定情報の従来の使用を置き換え、人間の言語コマンドに基づいてオブジェクトを追跡することを目的としています。
さまざまな取り組みにもかかわらず、重要な課題は、追跡に言語が使用される理由が明確に理解されていないことであり、この分野のさらなる発展を妨げています。
このペーパーでは、統一タスク フレームワークである言語ガイド付き MOT と、多様なシナリオと言語記述を網羅する LaMOT と呼ばれる対応する大規模ベンチマークを導入することで、この課題に対処します。
特に、LaMOT は 4 つの異なるデータセットからの 1,660 シーケンスで構成され、標準化された評価プラットフォームを提供しながら、さまざまな視覚言語 MOT タスクを統合することを目的としています。
高品質のアノテーションを保証するために、すべてのビデオの各ターゲットに適切な説明文を手動で割り当て、慎重な検査と修正を行っています。
私たちの知る限り、LaMOT は言語ガイド付き MOT 専用の最初のベンチマークです。
さらに、LaMOTer と呼ばれる、シンプルかつ効果的なトラッカーを提案します。
統一されたタスクフレームワークを確立し、挑戦的なベンチマークを提供し、将来のアルゴリズム設計と評価のための洞察を提供することで、視覚言語MOTの研究の進歩に貢献することが期待されます。
データは https://github.com/Nathan-Li123/LaMOT で公開します。

要約(オリジナル)

Vision-Language MOT is a crucial tracking problem and has drawn increasing attention recently. It aims to track objects based on human language commands, replacing the traditional use of templates or pre-set information from training sets in conventional tracking tasks. Despite various efforts, a key challenge lies in the lack of a clear understanding of why language is used for tracking, which hinders further development in this field. In this paper, we address this challenge by introducing Language-Guided MOT, a unified task framework, along with a corresponding large-scale benchmark, termed LaMOT, which encompasses diverse scenarios and language descriptions. Specially, LaMOT comprises 1,660 sequences from 4 different datasets and aims to unify various Vision-Language MOT tasks while providing a standardized evaluation platform. To ensure high-quality annotations, we manually assign appropriate descriptive texts to each target in every video and conduct careful inspection and correction. To the best of our knowledge, LaMOT is the first benchmark dedicated to Language-Guided MOT. Additionally, we propose a simple yet effective tracker, termed LaMOTer. By establishing a unified task framework, providing challenging benchmarks, and offering insights for future algorithm design and evaluation, we expect to contribute to the advancement of research in Vision-Language MOT. We will release the data at https://github.com/Nathan-Li123/LaMOT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google