ZOPP: A Framework of Zero-shot Offboard Panoptic Perception for Autonomous Driving

要約

オフボード認識は、自動運転 (AD) シーン用の高品質 3D ラベルを自動的に生成することを目的としています。
既存のオフボード手法は、閉集合分類法による 3D オブジェクト検出に焦点を当てており、急速に進化する認識タスクにおける人間レベルの認識能力に匹敵することができません。
人間によるラベルへの依存度が高く、データの不均衡と希薄性が蔓延しているため、認識タスクの明確なニーズを満たす、AD シーンのさまざまな要素をオフボードで自動ラベル付けするための統一フレームワークは十分に検討されていません。
この論文では、自動運転シーン向けの新しいマルチモーダル ゼロショット オフボード パノプティック パーセプション (ZOPP) フレームワークを提案します。
ZOPP は、ビジョン基盤モデルの強力なゼロショット認識機能と、点群から派生した 3D 表現を統合します。
私たちの知る限り、ZOPP は自動運転シーンにおけるマルチモーダルパノプティック認識と自動ラベリングの分野における先駆的な取り組みです。
Waymo オープン データセットに関する包括的な実証研究と評価を実施し、さまざまな知覚タスクに関して提案された ZOPP を検証します。
私たちが提案する ZOPP の使いやすさと拡張性をさらに調査するために、下流のアプリケーションでも実験を行います。
この結果は、現実世界のシナリオに対する ZOPP の大きな可能性をさらに示しています。

要約(オリジナル)

Offboard perception aims to automatically generate high-quality 3D labels for autonomous driving (AD) scenes. Existing offboard methods focus on 3D object detection with closed-set taxonomy and fail to match human-level recognition capability on the rapidly evolving perception tasks. Due to heavy reliance on human labels and the prevalence of data imbalance and sparsity, a unified framework for offboard auto-labeling various elements in AD scenes that meets the distinct needs of perception tasks is not being fully explored. In this paper, we propose a novel multi-modal Zero-shot Offboard Panoptic Perception (ZOPP) framework for autonomous driving scenes. ZOPP integrates the powerful zero-shot recognition capabilities of vision foundation models and 3D representations derived from point clouds. To the best of our knowledge, ZOPP represents a pioneering effort in the domain of multi-modal panoptic perception and auto labeling for autonomous driving scenes. We conduct comprehensive empirical studies and evaluations on Waymo open dataset to validate the proposed ZOPP on various perception tasks. To further explore the usability and extensibility of our proposed ZOPP, we also conduct experiments in downstream applications. The results further demonstrate the great potential of our ZOPP for real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google