Camera-Only 3D Panoptic Scene Completion for Autonomous Driving through Differentiable Object Shapes

要約

自動運転車には、計画と行動のために周囲の完全な地図が必要です。
これにより、3D占有予測、3Dシーンの完了、および3Dパノプティックシーンの完成のタスクに関する研究が生まれました。これは、エゴ車両の周囲の密なマップをボクセルグリッドとして予測します。
シーンの完了は、ボクセルグリッドの閉塞領域を予測することにより占有予測を拡張し、パノプティックシーンの完了は、同じクラス内のオブジェクトインスタンスを区別することにより、このタスクをさらに拡張します。
両方の側面は、パス計画と意思決定に不可欠です。
ただし、3Dパノプティックシーンの完成は現在、掘り下げられていません。
この作業では、既存の3Dセマンティックシーンの完了モデルを拡張する3Dパノプティックシーンの完了のための新しいフレームワークを紹介します。
文献に示されている3D占有率とシーン完了方法と簡単に統合できるオブジェクトモジュールとパノプティックモジュールを提案します。
当社のアプローチは、利用可能な注釈を占有ベンチマークで活用し、個々のオブジェクトの形状を微分可能な問題として学習できるようにします。
このコードは、https：//github.com/nicolamarinello/offsetoccで入手できます。

要約(オリジナル)

Autonomous vehicles need a complete map of their surroundings to plan and act. This has sparked research into the tasks of 3D occupancy prediction, 3D scene completion, and 3D panoptic scene completion, which predict a dense map of the ego vehicle’s surroundings as a voxel grid. Scene completion extends occupancy prediction by predicting occluded regions of the voxel grid, and panoptic scene completion further extends this task by also distinguishing object instances within the same class; both aspects are crucial for path planning and decision-making. However, 3D panoptic scene completion is currently underexplored. This work introduces a novel framework for 3D panoptic scene completion that extends existing 3D semantic scene completion models. We propose an Object Module and Panoptic Module that can easily be integrated with 3D occupancy and scene completion methods presented in the literature. Our approach leverages the available annotations in occupancy benchmarks, allowing individual object shapes to be learned as a differentiable problem. The code is available at https://github.com/nicolamarinello/OffsetOcc .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google