Tracking Every Thing in the Wild

要約

現在のマルチカテゴリマルチオブジェクトトラッキング（MOT）メトリックは、クラスラベルを使用して、クラスごとの評価のためにトラッキング結果をグループ化します。
同様に、MOTメソッドは通常、オブジェクトを同じクラス予測にのみ関連付けます。
MOTのこれら2つの一般的な戦略は、分類パフォーマンスがほぼ完全であることを暗黙的に想定しています。
ただし、これは最近の大規模なMOTデータセットの場合とはほど遠いものであり、多くのまれな、または意味的に類似したカテゴリを持つ多数のクラスが含まれています。
したがって、結果として生じる不正確な分類は、最適ではない追跡とトラッカーの不適切なベンチマークにつながります。
分類を追跡から解きほぐすことにより、これらの問題に対処します。
新しいメトリックであるTrackEveryThing Accuracy（TETA）を導入し、追跡測定をローカリゼーション、関連付け、分類の3つのサブファクターに分割し、不正確な分類でも追跡パフォーマンスの包括的なベンチマークを可能にします。
TETAは、大規模な追跡データセットにおける困難な不完全な注釈の問題にも対処します。
さらに、Class Exemplar Matching（CEM）を使用して関連付けを実行するTrack Every Thingトラッカー（TETer）を紹介します。
私たちの実験は、TETAがトラッカーをより包括的に評価し、TETerが最先端のデータセットと比較して挑戦的な大規模データセットBDD100KおよびTAOで大幅な改善を達成することを示しています。

要約(オリジナル)

Current multi-category Multiple Object Tracking (MOT) metrics use class labels to group tracking results for per-class evaluation. Similarly, MOT methods typically only associate objects with the same class predictions. These two prevalent strategies in MOT implicitly assume that the classification performance is near-perfect. However, this is far from the case in recent large-scale MOT datasets, which contain large numbers of classes with many rare or semantically similar categories. Therefore, the resulting inaccurate classification leads to sub-optimal tracking and inadequate benchmarking of trackers. We address these issues by disentangling classification from tracking. We introduce a new metric, Track Every Thing Accuracy (TETA), breaking tracking measurement into three sub-factors: localization, association, and classification, allowing comprehensive benchmarking of tracking performance even under inaccurate classification. TETA also deals with the challenging incomplete annotation problem in large-scale tracking datasets. We further introduce a Track Every Thing tracker (TETer), that performs association using Class Exemplar Matching (CEM). Our experiments show that TETA evaluates trackers more comprehensively, and TETer achieves significant improvements on the challenging large-scale datasets BDD100K and TAO compared to the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google