STCOcc: Sparse Spatial-Temporal Cascade Renovation for 3D Occupancy and Scene Flow Prediction

要約

3D占有率とシーンフローは、3Dシーンの詳細かつ動的な表現を提供します。
3D空間の恒星と複雑さを認識して、以前の視覚中心の方法は、空間情報と時間的情報をモデル化するための暗黙の学習ベースのアプローチを採用しています。
ただし、これらのアプローチは、地元の詳細を把握し、モデルの空間識別能力を低下させるのに苦労しています。
これらの課題に対処するために、占有状態を活用して3D機能を改修するように設計された新しい明示的な状態ベースのモデリング方法を提案します。
具体的には、占有された状態情報のガイダンスで3D機能を正確に改装するカスケード洗練戦略と統合されたスパースオクルージョンを意識した注意メカニズムを提案します。
さらに、長期的な動的相互作用をモデル化するための新しい方法を導入し、計算コストを削減し、空間情報を保存します。
以前の最先端の方法と比較して、当社の効率的な明示的な改修戦略は、占有率とシーンフローの予測のためにRayiouとMoveの点で優れたパフォーマンスを提供するだけでなく、トレーニング中のGPUメモリ使用量を著しく削減し、8.7GBに引き下げます。
当社のコードは、https：//github.com/lzzzzzm/stcoccで入手できます

要約(オリジナル)

3D occupancy and scene flow offer a detailed and dynamic representation of 3D scene. Recognizing the sparsity and complexity of 3D space, previous vision-centric methods have employed implicit learning-based approaches to model spatial and temporal information. However, these approaches struggle to capture local details and diminish the model’s spatial discriminative ability. To address these challenges, we propose a novel explicit state-based modeling method designed to leverage the occupied state to renovate the 3D features. Specifically, we propose a sparse occlusion-aware attention mechanism, integrated with a cascade refinement strategy, which accurately renovates 3D features with the guidance of occupied state information. Additionally, we introduce a novel method for modeling long-term dynamic interactions, which reduces computational costs and preserves spatial information. Compared to the previous state-of-the-art methods, our efficient explicit renovation strategy not only delivers superior performance in terms of RayIoU and mAVE for occupancy and scene flow prediction but also markedly reduces GPU memory usage during training, bringing it down to 8.7GB. Our code is available on https://github.com/lzzzzzm/STCOcc

arxiv情報

提供元, 利用サービス

arxiv.jp, Google