PaSCo: Urban 3D Panoptic Scene Completion with Uncertainty Awareness

要約

我々は、3Dシーンのより豊かな理解を生み出すために、最近人気のあるセマンティックシーン補完（SSC）タスクをインスタンスレベルの情報で拡張するパノプティックシーン補完（PSC）タスクを提案する。我々の提案するPSCは、疎なマルチスケール補完から得られた空でないボクセルに対して、ハイブリッドマスクベースの技術を利用する。SSCの文献では、ロボット工学アプリケーションにとって重要な不確実性を見落としているが、我々はその代わりに、PSCに沿ってボクセル単位とインスタンス単位の不確実性の両方を推定する効率的なアンサンブルを提案する。これは多入力多出力(MIMO)戦略を基礎とすることで達成され、性能を向上させ、わずかな追加計算でより良い不確実性をもたらす。さらに、順列不変のマスク予測を集約する技術を紹介する。我々の実験は、3つの大規模な自律走行データセットにおいて、パノプティックシーン補完と不確実性推定の両方において、我々の手法が全てのベースラインを上回ることを実証している。我々のコードとデータは https://astra-vision.github.io/PaSCo で利用可能である。

要約(オリジナル)

We propose the task of Panoptic Scene Completion (PSC) which extends the recently popular Semantic Scene Completion (SSC) task with instance-level information to produce a richer understanding of the 3D scene. Our PSC proposal utilizes a hybrid mask-based technique on the non-empty voxels from sparse multi-scale completions. Whereas the SSC literature overlooks uncertainty which is critical for robotics applications, we instead propose an efficient ensembling to estimate both voxel-wise and instance-wise uncertainties along PSC. This is achieved by building on a multi-input multi-output (MIMO) strategy, while improving performance and yielding better uncertainty for little additional compute. Additionally, we introduce a technique to aggregate permutation-invariant mask predictions. Our experiments demonstrate that our method surpasses all baselines in both Panoptic Scene Completion and uncertainty estimation on three large-scale autonomous driving datasets. Our code and data are available at https://astra-vision.github.io/PaSCo .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL