Symphonize 3D Semantic Scene Completion with Contextual Instance Queries

要約

3D セマンティック シーン補完 (SSC) は、部分的な LiDAR または画像入力から 3D シーン内のボクセルごとの占有を予測する必要があるため、自動運転にとって初期の重要なタスクとして浮上しています。
既存の方法は主にボクセル単位の特徴の集約に焦点を当てており、インスタンス中心のセマンティクスやより広範なコンテキストは無視されています。
この論文では、SSC 用の Symphonies (Scene-from-Insts) と呼ばれる新しいパラダイムを紹介します。これは、コンテキスト認識を備えた入力から派生したインスタンス クエリのまばらなセットからシーン ボリュームを完成させます。
クエリをシーン内のインスタンス フィーチャ表現として組み込むことにより、Symphonies はインスタンス中心のセマンティクスを動的にエンコードし、高密度のボクセル単位のモデリングを回避しながら、画像およびボリューム フィーチャと対話します。
同時に、シーン全体のコンテキストをキャプチャすることでシナリオのより包括的な理解を調整し、オクルージョンや遠近法のエラーから生じる幾何学的曖昧さの軽減に貢献します。
Symphonies は、困難な SemanticKITTI データセットで 13.02 mIoU という最先端の結果を達成し、既存の手法を上回り、パラダイムの有望な進歩を示しています。
コードは \url{https://github.com/hustvl/Symphonies} で入手できます。

要約(オリジナル)

3D Semantic Scene Completion (SSC) has emerged as a nascent and pivotal task for autonomous driving, as it involves predicting per-voxel occupancy within a 3D scene from partial LiDAR or image inputs. Existing methods primarily focus on the voxel-wise feature aggregation, while neglecting the instance-centric semantics and broader context. In this paper, we present a novel paradigm termed Symphonies (Scene-from-Insts) for SSC, which completes the scene volume from a sparse set of instance queries derived from the input with context awareness. By incorporating the queries as the instance feature representations within the scene, Symphonies dynamically encodes the instance-centric semantics to interact with the image and volume features while avoiding the dense voxel-wise modeling. Simultaneously, it orchestrates a more comprehensive understanding of the scenario by capturing context throughout the entire scene, contributing to alleviating the geometric ambiguity derived from occlusion and perspective errors. Symphonies achieves a state-of-the-art result of 13.02 mIoU on the challenging SemanticKITTI dataset, outperforming existing methods and showcasing the promising advancements of the paradigm. The code is available at \url{https://github.com/hustvl/Symphonies}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google