Symphonize 3D Semantic Scene Completion with Contextual Instance Queries

要約

`3D セマンティック シーン コンプリーション (SSC) は、ボリュメトリック シーン内のボクセル占有を予測することを目的として、自動運転における初期の重要な取り組みとして浮上しました。
ただし、一般的な方法論は主にボクセル単位の特徴の集約に焦点を当てており、インスタンスのセマンティクスやシーンのコンテキストは無視されています。
この論文では、2D から 3D への再構築と 3D シーン モデリングを調整するためのインスタンス クエリの統合を詳しく掘り下げる、Symphonies (Scene-from-Insts) と呼ばれる新しいパラダイムを紹介します。
私たちが提案するシリアル インスタンス伝播アテンションを活用して、Symphonies はインスタンス中心のセマンティクスを動的にエンコードし、画像ベースのドメインとボリューム ドメイン間の複雑な相互作用を促進します。
同時に、Symphonies は、インスタンス クエリの効率的な融合を通じてコン​​テキストをキャプチャすることにより、シーンの全体的な理解を可能にし、コンテキスト シーン推論を通じてオクルージョンや遠近法エラーなどの幾何学的曖昧さを軽減します。
実験結果は、Symphonies が困難なベンチマークである SemanticKITTI および SSCBench-KITTI-360 で最先端のパフォーマンスを達成し、それぞれ 15.04 および 18.58 という驚くべき mIoU スコアをもたらしていることを示しています。
これらの結果は、パラダイムの有望な進歩を示しています。
コードは https://github.com/hustvl/Symphonies で入手できます。

要約(オリジナル)

`3D Semantic Scene Completion (SSC) has emerged as a nascent and pivotal undertaking in autonomous driving, aiming to predict voxel occupancy within volumetric scenes. However, prevailing methodologies primarily focus on voxel-wise feature aggregation, while neglecting instance semantics and scene context. In this paper, we present a novel paradigm termed Symphonies (Scene-from-Insts), that delves into the integration of instance queries to orchestrate 2D-to-3D reconstruction and 3D scene modeling. Leveraging our proposed Serial Instance-Propagated Attentions, Symphonies dynamically encodes instance-centric semantics, facilitating intricate interactions between image-based and volumetric domains. Simultaneously, Symphonies enables holistic scene comprehension by capturing context through the efficient fusion of instance queries, alleviating geometric ambiguity such as occlusion and perspective errors through contextual scene reasoning. Experimental results demonstrate that Symphonies achieves state-of-the-art performance on challenging benchmarks SemanticKITTI and SSCBench-KITTI-360, yielding remarkable mIoU scores of 15.04 and 18.58, respectively. These results showcase the paradigm’s promising advancements. The code is available at https://github.com/hustvl/Symphonies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google