SA-Occ: Satellite-Assisted 3D Occupancy Prediction in Real World

要約

既存のビジョンベースの3D占有予測法は、衛星ビューを組み込むことの潜在的な利点を無視して、ストリートビュー画像に排他的に依存しているため、本質的に精度が制限されています。
最初の衛星支援3D占有予測モデルであるSA-OCCを提案します。これは、GPS＆IMUを活用して、歴史的でありながら入手可能な衛星画像をリアルタイムアプリケーションに統合し、オクルージョンと離れた領域のパフォーマンスを伴うエゴベヒクルの知覚の制限を効果的に緩和します。
クロスビューの知覚の中心的な課題に対処するために、次の提案を提案します。1）動的分解融合。これは、衛星と街路ビューの間の時間的非同期によって引き起こされる動的領域の不一致を解決する。
2）3D-Projガイダンス、本質的に2D衛星画像からの3D機能抽出を強化するモジュール。
3）通りと衛星ビューの間のサンプリング密度を整列させる均一なサンプリングアライメント。
OCC3Dナスセンで評価されたSA-OCCは、特に単一フレームの方法で最先端のパフォーマンスを達成し、39.05％MIOU（6.97％の改善）で、フレームあたり6.93ミリ秒の追加レイテンシのみが発生します。
当社のコードと新しくキュレーションされたデータセットは、https：//github.com/chenchen235/sa-occで入手できます。

要約(オリジナル)

Existing vision-based 3D occupancy prediction methods are inherently limited in accuracy due to their exclusive reliance on street-view imagery, neglecting the potential benefits of incorporating satellite views. We propose SA-Occ, the first Satellite-Assisted 3D occupancy prediction model, which leverages GPS & IMU to integrate historical yet readily available satellite imagery into real-time applications, effectively mitigating limitations of ego-vehicle perceptions, involving occlusions and degraded performance in distant regions. To address the core challenges of cross-view perception, we propose: 1) Dynamic-Decoupling Fusion, which resolves inconsistencies in dynamic regions caused by the temporal asynchrony between satellite and street views; 2) 3D-Proj Guidance, a module that enhances 3D feature extraction from inherently 2D satellite imagery; and 3) Uniform Sampling Alignment, which aligns the sampling density between street and satellite views. Evaluated on Occ3D-nuScenes, SA-Occ achieves state-of-the-art performance, especially among single-frame methods, with a 39.05% mIoU (a 6.97% improvement), while incurring only 6.93 ms of additional latency per frame. Our code and newly curated dataset are available at https://github.com/chenchen235/SA-Occ.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google