Open3DTrack: Towards Open-Vocabulary 3D Multi-Object Tracking

要約

3D マルチオブジェクト追跡は、複数のオブジェクトの動きのリアルタイム監視と予測を可能にすることで、自動運転において重要な役割を果たします。
従来の 3D 追跡システムは通常、事前定義されたオブジェクト カテゴリによって制約され、動的環境における新しい目に見えないオブジェクトへの適応性が制限されます。
この制限に対処するために、オープンボキャブラリー 3D トラッキングを導入します。これにより、3D トラッキングの範囲が拡張され、事前定義されたカテゴリを超えたオブジェクトが含まれます。
オープン語彙の 3D 追跡の問題を定式化し、さまざまなオープン語彙シナリオを表すように設計されたデータセット分割を導入します。
私たちは、オープン語彙機能を 3D 追跡フレームワークに統合し、目に見えないオブジェクト クラスへの一般化を可能にする新しいアプローチを提案します。
私たちの方法は、戦略的な適応を通じて、既知のオブジェクトと新しいオブジェクトの追跡間のパフォーマンスのギャップを効果的に削減します。
実験結果は、さまざまな屋外運転シナリオにおける私たちの方法の堅牢性と適応性を実証しています。
私たちの知る限り、この研究はオープン語彙の 3D トラッキングに初めて取り組んだものであり、現実世界の設定における自律システムに大きな進歩をもたらします。
コード、トレーニングされたモデル、データセットの分割は公開されています。

要約(オリジナル)

3D multi-object tracking plays a critical role in autonomous driving by enabling the real-time monitoring and prediction of multiple objects’ movements. Traditional 3D tracking systems are typically constrained by predefined object categories, limiting their adaptability to novel, unseen objects in dynamic environments. To address this limitation, we introduce open-vocabulary 3D tracking, which extends the scope of 3D tracking to include objects beyond predefined categories. We formulate the problem of open-vocabulary 3D tracking and introduce dataset splits designed to represent various open-vocabulary scenarios. We propose a novel approach that integrates open-vocabulary capabilities into a 3D tracking framework, allowing for generalization to unseen object classes. Our method effectively reduces the performance gap between tracking known and novel objects through strategic adaptation. Experimental results demonstrate the robustness and adaptability of our method in diverse outdoor driving scenarios. To the best of our knowledge, this work is the first to address open-vocabulary 3D tracking, presenting a significant advancement for autonomous systems in real-world settings. Code, trained models, and dataset splits are available publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google