Open3DTrack: Towards Open-Vocabulary 3D Multi-Object Tracking

要約

3Dマルチオブジェクト追跡は、複数のオブジェクトの動きのリアルタイム監視と予測を可能にすることにより、自律運転において重要な役割を果たします。
従来の3D追跡システムは通常、事前に定義されたオブジェクトカテゴリによって制約されており、その適応性を動的環境で斬新で目にしないオブジェクトに制限します。
この制限に対処するために、3D追跡の範囲を拡張して、事前定義されたカテゴリを超えたオブジェクトを含めるために、オープンボキャブラリー3D追跡を導入します。
オープンボキャブラリー3D追跡の問題を策定し、さまざまなオープンボキャブラリーシナリオを表すように設計されたデータセットスプリットを導入します。
オープンボキャブラリー機能を3D追跡フレームワークに統合する新しいアプローチを提案し、目に見えないオブジェクトクラスに一般化できるようにします。
私たちの方法は、戦略的適応を通じて、既知のオブジェクトと新しいオブジェクトの追跡間のパフォーマンスギャップを効果的に削減します。
実験結果は、多様な屋外での運転シナリオにおける私たちの方法の堅牢性と適応性を示しています。
私たちの知る限り、この作業は、現実世界の設定における自律システムの重要な進歩を提示する、オープンボキャブラリー3D追跡に最初に対処した最初の作業です。
コード、トレーニングされたモデル、およびデータセットスプリットが公開されています。

要約(オリジナル)

3D multi-object tracking plays a critical role in autonomous driving by enabling the real-time monitoring and prediction of multiple objects’ movements. Traditional 3D tracking systems are typically constrained by predefined object categories, limiting their adaptability to novel, unseen objects in dynamic environments. To address this limitation, we introduce open-vocabulary 3D tracking, which extends the scope of 3D tracking to include objects beyond predefined categories. We formulate the problem of open-vocabulary 3D tracking and introduce dataset splits designed to represent various open-vocabulary scenarios. We propose a novel approach that integrates open-vocabulary capabilities into a 3D tracking framework, allowing for generalization to unseen object classes. Our method effectively reduces the performance gap between tracking known and novel objects through strategic adaptation. Experimental results demonstrate the robustness and adaptability of our method in diverse outdoor driving scenarios. To the best of our knowledge, this work is the first to address open-vocabulary 3D tracking, presenting a significant advancement for autonomous systems in real-world settings. Code, trained models, and dataset splits are available publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google