Bridging Stereo Geometry and BEV Representation with Reliable Mutual Interaction for Semantic Scene Completion

要約

3D セマンティック シーン補完 (SSC) は、限られた観察から高密度の 3D シーンを推測する必要がある、不適切な知覚タスクです。
従来のカメラベースの方法では、固有の幾何学的曖昧さと不完全な観察により、正確な意味論的シーンを予測するのが困難でした。
この論文では、SSC におけるこのような問題に対処するために、ステレオ マッチング技術と鳥瞰図 (BEV) 表現の学習に頼ります。
相互に補完し合うステレオマッチングは、エピポーラ制約による幾何学的な曖昧さを軽減し、BEV 表現はグローバルな意味論的コンテキストを持つ不可視領域の幻覚能力を強化します。
ただし、ステレオ ジオメトリと BEV 特徴の間には固有の表現ギャップがあるため、SSC の高密度予測タスクのためにそれらを埋めることは自明ではありません。
したがって、私たちは BRGScene と呼ばれる統一された占有ベースのフレームワークをさらに開発します。これは、これら 2 つの表現を高密度 3D ボリュームで効果的に橋渡しし、信頼性の高いセマンティック シーンの完成を実現します。
具体的には、ステレオ ジオメトリと BEV 機能をピクセルレベルで信頼性高く集約するための新しい Mutual Interactive Ensemble (MIE) ブロックを設計します。
MIE ブロック内では、信頼度の再重み付けによって強化された双方向信頼性インタラクション (BRI) モジュールが採用され、相互ガイダンスを通じてきめ細かいインタラクションを促進します。
さらに、デュアル ボリューム アンサンブル (DVE) モジュールが導入され、チャネルごとの再調整とマルチグループ投票による補完的な集約が容易になります。
私たちの方法は、セマンティックシーンの完成に関して、SemanticKITTI で公開されているすべてのカメラベースの方法よりも優れています。

要約(オリジナル)

3D semantic scene completion (SSC) is an ill-posed perception task that requires inferring a dense 3D scene from limited observations. Previous camera-based methods struggle to predict accurate semantic scenes due to inherent geometric ambiguity and incomplete observations. In this paper, we resort to stereo matching technique and bird’s-eye-view (BEV) representation learning to address such issues in SSC. Complementary to each other, stereo matching mitigates geometric ambiguity with epipolar constraint while BEV representation enhances the hallucination ability for invisible regions with global semantic context. However, due to the inherent representation gap between stereo geometry and BEV features, it is non-trivial to bridge them for dense prediction task of SSC. Therefore, we further develop a unified occupancy-based framework dubbed BRGScene, which effectively bridges these two representations with dense 3D volumes for reliable semantic scene completion. Specifically, we design a novel Mutual Interactive Ensemble (MIE) block for pixel-level reliable aggregation of stereo geometry and BEV features. Within the MIE block, a Bi-directional Reliable Interaction (BRI) module, enhanced with confidence re-weighting, is employed to encourage fine-grained interaction through mutual guidance. Besides, a Dual Volume Ensemble (DVE) module is introduced to facilitate complementary aggregation through channel-wise recalibration and multi-group voting. Our method outperforms all published camera-based methods on SemanticKITTI for semantic scene completion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google