LMPOcc: 3D Semantic Occupancy Prediction Utilizing Long-Term Memory Prior from Historical Traversals

要約

ビジョンベースの3Dセマンティック占有率予測は、自律的な運転に重要であり、静的インフラストラクチャと動的エージェントの統一モデリングを可能にします。
実際には、自動運転車は、天候の変動や照明の変化など、さまざまな環境条件の下で同一の地理的位置を繰り返し通過する可能性があります。
3D占有予測の既存の方法は、主に隣接する時間コンテキストを統合します。
ただし、これらの研究は、同一の地理的位置の歴史的なトラバーサルから取得される知覚情報を活用することを怠っています。
この論文では、歴史的なトラバーサル知覚出力から導き出された長期記憶前処理を活用する最初の3D占有率の方法論である長期記憶事前占有率（LMPOCC）を提案します。
長期的なメモリプライアーを統合して局所的な知覚を強化しながら、グローバルな占有表現を構築するプラグアンドプレイアーキテクチャを紹介します。
以前の機能と現在の機能を適応的に集約するために、効率的な軽量電流融合モジュールを開発します。
さらに、多様な占有予測ベースライン全体の互換性を確保するために、モデルに依存しない事前形式を提案します。
LMPOCCは、OCC3D-Nuscenesベンチマーク、特に静的セマンティックカテゴリで検証された最先端のパフォーマンスを実現しています。
さらに、実験結果は、マルチビェクルクラウドソーシングを通じて世界的な占有率を構築するLMPOCCの能力を示しています。

要約(オリジナル)

Vision-based 3D semantic occupancy prediction is critical for autonomous driving, enabling unified modeling of static infrastructure and dynamic agents. In practice, autonomous vehicles may repeatedly traverse identical geographic locations under varying environmental conditions, such as weather fluctuations and illumination changes. Existing methods in 3D occupancy prediction predominantly integrate adjacent temporal contexts. However, these works neglect to leverage perceptual information, which is acquired from historical traversals of identical geographic locations. In this paper, we propose Longterm Memory Prior Occupancy (LMPOcc), the first 3D occupancy prediction methodology that exploits long-term memory priors derived from historical traversal perceptual outputs. We introduce a plug-and-play architecture that integrates long-term memory priors to enhance local perception while simultaneously constructing global occupancy representations. To adaptively aggregate prior features and current features, we develop an efficient lightweight Current-Prior Fusion module. Moreover, we propose a model-agnostic prior format to ensure compatibility across diverse occupancy prediction baselines. LMPOcc achieves state-of-the-art performance validated on the Occ3D-nuScenes benchmark, especially on static semantic categories. Additionally, experimental results demonstrate LMPOcc’s ability to construct global occupancy through multi-vehicle crowdsourcing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google