Self-Supervised Multi-Object Tracking For Autonomous Driving From Consistency Across Timescales

要約

自己監視型マルチオブジェクト トラッカーは、ドメイン固有の生データからの学習を可能にするため、大きな可能性を秘めています。
ただし、再識別の精度は、監視された対応物と比較して依然として不十分です。
この欠点は、単一フレームまたはフレーム ペアに限定された自己教師あり対物レンズの定式化に起因すると仮説を立てています。
このような定式化では、フレーム レートが低い場合やオブジェクト ダイナミクスが高い場合に、自動運転のための一貫した再識別機能の学習を促進するのに十分な外観の変化を捕捉できません。
この研究では、短期および長期のタイムスケールにわたって一貫した関連スコアを強制することで、複数の連続フレームからの再識別特徴の自己教師あり学習を可能にするトレーニング目標を提案します。
私たちは広範な評価を実行し、フレームペアでのトレーニングに限定されている既存の自己教師あり学習方法と比較して、より長いシーケンスからトレーニングされた再識別特徴が標準の自動運転データセットでの ID スイッチを大幅に削減することを実証しました。
私たちが提案した SubCo 損失関数を使用することで、自己教師あり学習手法の中で最先端の新しい手法を確立し、完全教師あり学習手法と同等のパフォーマンスを実現しました。

要約(オリジナル)

Self-supervised multi-object trackers have tremendous potential as they enable learning from raw domain-specific data. However, their re-identification accuracy still falls short compared to their supervised counterparts. We hypothesize that this drawback results from formulating self-supervised objectives that are limited to single frames or frame pairs. Such formulations do not capture sufficient visual appearance variations to facilitate learning consistent re-identification features for autonomous driving when the frame rate is low or object dynamics are high. In this work, we propose a training objective that enables self-supervised learning of re-identification features from multiple sequential frames by enforcing consistent association scores across short and long timescales. We perform extensive evaluations demonstrating that re-identification features trained from longer sequences significantly reduce ID switches on standard autonomous driving datasets compared to existing self-supervised learning methods, which are limited to training on frame pairs. Using our proposed SubCo loss function, we set the new state-of-the-art among self-supervised methods and even perform on par with fully supervised learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google