Towards Flexible 3D Perception: Object-Centric Occupancy Completion Augments 3D Object Detection

要約

3D オブジェクト バウンディング ボックス (bbox) 表現は自動運転の認識に広く使用されていますが、オブジェクトの固有のジオメトリの正確な詳細をキャプチャする機能が不足しています。
最近、占有が 3D シーン認識の有望な代替手段として浮上しています。
ただし、高解像度の占有マップを構築することは、計算上の制約のため、大規模なシーンでは依然として実行不可能です。
前景オブジェクトがシーンのごく一部しか占有していないことを認識し、オブジェクト Bbox の補足としてオブジェクト中心の占有を導入します。
この表現は、検出されたオブジェクトの複雑な詳細を提供するだけでなく、実際のアプリケーションでより高いボクセル解像度を可能にします。
私たちは、データとアルゴリズムの両方の観点から、オブジェクト中心の占有認識の開発を進めています。
データ側では、自動パイプラインを使用して最初のオブジェクト中心の占有データセットを最初から構築します。
アルゴリズムの観点から、動的サイズの占有生成を管理する暗黙的な形状デコーダを備えた新しいオブジェクト中心の占有完了ネットワークを紹介します。
このネットワークは、長いシーケンスからの時間情報を活用することで、不正確なオブジェクト提案に対する完全なオブジェクト中心の占有体積を正確に予測します。
私たちの方法は、ノイズの多い検出および追跡条件下でオブジェクトの形状を完成させる際の堅牢なパフォーマンスを実証します。
さらに、占有機能により、特に Waymo オープン データセット内の不完全なオブジェクトや遠くにあるオブジェクトの場合、最先端の 3D オブジェクト検出器の検出結果が大幅に向上することを示します。

要約(オリジナル)

While 3D object bounding box (bbox) representation has been widely used in autonomous driving perception, it lacks the ability to capture the precise details of an object’s intrinsic geometry. Recently, occupancy has emerged as a promising alternative for 3D scene perception. However, constructing a high-resolution occupancy map remains infeasible for large scenes due to computational constraints. Recognizing that foreground objects only occupy a small portion of the scene, we introduce object-centric occupancy as a supplement to object bboxes. This representation not only provides intricate details for detected objects but also enables higher voxel resolution in practical applications. We advance the development of object-centric occupancy perception from both data and algorithm perspectives. On the data side, we construct the first object-centric occupancy dataset from scratch using an automated pipeline. From the algorithmic standpoint, we introduce a novel object-centric occupancy completion network equipped with an implicit shape decoder that manages dynamic-size occupancy generation. This network accurately predicts the complete object-centric occupancy volume for inaccurate object proposals by leveraging temporal information from long sequences. Our method demonstrates robust performance in completing object shapes under noisy detection and tracking conditions. Additionally, we show that our occupancy features significantly enhance the detection results of state-of-the-art 3D object detectors, especially for incomplete or distant objects in the Waymo Open Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google