SSC-RS: Elevate LiDAR Semantic Scene Completion with Representation Separation and BEV Fusion

要約

セマンティック シーン完了 (SSC) は、3D シーン全体のセマンティクスとジオメトリを共同で予測します。これは、自動運転システムの 3D シーンを理解する上で重要な役割を果たします。
SSC は、セグメンテーションにおけるセマンティック コンテキストの助けを借りて急速な進歩を遂げました。
ただし、セマンティック セグメンテーションにおけるセマンティック コンテキストとシーン完成における幾何学的構造の間の関係を効果的に利用する方法はまだ模索中です。
本稿では、表現分離とBEV融合の観点から屋外SSCを解決することを提案する。
具体的には、SSC-RS という名前のネットワークを紹介します。このネットワークは、意味論的表現と幾何学的表現の学習手順を明示的に解きほぐすために、深い監視を備えた個別のブランチを使用します。
また、マルチスケール機能を効果的かつ効率的に集約するために、提案された適応表現融合 (ARF) モジュールを備えた BEV 融合ネットワークが提示されます。
計算負荷が低く、強力な表現能力があるため、私たちのモデルはリアルタイムで実行しながら優れた汎用性を備えています。
SemanticKITTI に関する広範な実験により、当社の SSC-RS が最先端のパフォーマンスを達成することが実証されています。

要約(オリジナル)

Semantic scene completion (SSC) jointly predicts the semantics and geometry of the entire 3D scene, which plays an essential role in 3D scene understanding for autonomous driving systems. SSC has achieved rapid progress with the help of semantic context in segmentation. However, how to effectively exploit the relationships between the semantic context in semantic segmentation and geometric structure in scene completion remains under exploration. In this paper, we propose to solve outdoor SSC from the perspective of representation separation and BEV fusion. Specifically, we present the network, named SSC-RS, which uses separate branches with deep supervision to explicitly disentangle the learning procedure of the semantic and geometric representations. And a BEV fusion network equipped with the proposed Adaptive Representation Fusion (ARF) module is presented to aggregate the multi-scale features effectively and efficiently. Due to the low computational burden and powerful representation ability, our model has good generality while running in real-time. Extensive experiments on SemanticKITTI demonstrate our SSC-RS achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google