Uncertainty-aware Unsupervised Multi-Object Tracking

要約

手動でアノテーションを付けた ID がなければ、教師なしマルチオブジェクト トラッカーは信頼性の高い特徴の埋め込みを学習するのに劣ります。
これにより、類似性に基づくフレーム間関連付け段階でもエラーが発生しやすくなり、不確実性の問題が発生します。
フレームごとに蓄積された不確実性により、トラッカーは時間変化に対して埋め込まれた一貫した特徴を学習することができなくなります。
この不確実性の問題を回避するために、最近の自己教師あり手法が採用されていますが、それらは時間的関係を捉えることができませんでした。
フレーム間の不確実性は依然として存在します。
実際、この論文では、不確実性の問題は避けられないものの、不確実性自体を利用して学習された一貫性を改善することが可能であると主張しています。
具体的には、リスクの関連性を検証し修正するために、不確実性に基づいた指標が開発されます。
結果として得られる正確な擬似トラックレットにより、特徴の一貫性の学習が促進されます。
また、正確なトラックレットは、時間情報を空間変換に組み込むことができます。
この論文は、トラックレットの動きをシミュレートするためのトラックレットガイドによる拡張戦略を提案します。これは、ハードサンプルマイニングのための階層的不確実性ベースのサンプリングメカニズムを採用しています。
究極の教師なし MOT フレームワークである U2MOT は、MOT チャレンジと VisDrone-MOT ベンチマークで効果的であることが証明されています。
U2MOT は、公開されている教師ありトラッカーと教師なしトラッカーの中で SOTA パフォーマンスを達成します。

要約(オリジナル)

Without manually annotated identities, unsupervised multi-object trackers are inferior to learning reliable feature embeddings. It causes the similarity-based inter-frame association stage also be error-prone, where an uncertainty problem arises. The frame-by-frame accumulated uncertainty prevents trackers from learning the consistent feature embedding against time variation. To avoid this uncertainty problem, recent self-supervised techniques are adopted, whereas they failed to capture temporal relations. The interframe uncertainty still exists. In fact, this paper argues that though the uncertainty problem is inevitable, it is possible to leverage the uncertainty itself to improve the learned consistency in turn. Specifically, an uncertainty-based metric is developed to verify and rectify the risky associations. The resulting accurate pseudo-tracklets boost learning the feature consistency. And accurate tracklets can incorporate temporal information into spatial transformation. This paper proposes a tracklet-guided augmentation strategy to simulate tracklets’ motion, which adopts a hierarchical uncertainty-based sampling mechanism for hard sample mining. The ultimate unsupervised MOT framework, namely U2MOT, is proven effective on MOT-Challenges and VisDrone-MOT benchmark. U2MOT achieves a SOTA performance among the published supervised and unsupervised trackers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google