OccFusion: Multi-Sensor Fusion Framework for 3D Semantic Occupancy Prediction

要約

自動運転車 (AV) では 3D シーンを包括的に理解することが重要であり、3D セマンティック占有予測用の最近のモデルは、さまざまな形状やクラスを持つ現実世界のオブジェクトを記述するという課題にうまく対処しています。
ただし、3D 占有予測の既存の方法はサラウンドビュー カメラの画像に大きく依存しているため、照明や気象条件の変化の影響を受けやすくなっています。
このペーパーでは、3D 占有を予測するための新しいセンサー フュージョン フレームワークである OccFusion を紹介します。
LIDAR やサラウンド ビュー レーダーなどの追加センサーの機能を統合することで、当社のフレームワークは占有予測の精度と堅牢性を強化し、nuScenes ベンチマークで最高レベルのパフォーマンスを実現します。
さらに、困難な夜間や雨のシナリオを含む、nuScenes と semanticKITTI データセットに対して行われた広範な実験により、さまざまな知覚範囲にわたるセンサー フュージョン戦略の優れたパフォーマンスが確認されました。
このフレームワークのコードは、https://github.com/DanielMing123/OccFusion で利用可能になります。

要約(オリジナル)

A comprehensive understanding of 3D scenes is crucial in autonomous vehicles (AVs), and recent models for 3D semantic occupancy prediction have successfully addressed the challenge of describing real-world objects with varied shapes and classes. However, existing methods for 3D occupancy prediction heavily rely on surround-view camera images, making them susceptible to changes in lighting and weather conditions. This paper introduces OccFusion, a novel sensor fusion framework for predicting 3D occupancy. By integrating features from additional sensors, such as lidar and surround view radars, our framework enhances the accuracy and robustness of occupancy prediction, resulting in top-tier performance on the nuScenes benchmark. Furthermore, extensive experiments conducted on the nuScenes and semanticKITTI dataset, including challenging night and rainy scenarios, confirm the superior performance of our sensor fusion strategy across various perception ranges. The code for this framework will be made available at https://github.com/DanielMing123/OccFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google