OccFusion: A Straightforward and Effective Multi-Sensor Fusion Framework for 3D Occupancy Prediction

要約

このペーパーでは、3D 占有を予測するための簡単で効率的なセンサー フュージョン フレームワークである OccFusion を紹介します。
自動運転では 3D シーンを包括的に理解することが重要であり、3D セマンティック占有予測用の最近のモデルは、さまざまな形状やクラスを持つ現実世界のオブジェクトを記述するという課題にうまく対処しています。
ただし、3D 占有予測の既存の方法はサラウンドビュー カメラの画像に大きく依存しているため、照明や気象条件の変化の影響を受けやすくなっています。
LIDAR やサラウンド ビュー レーダーなどの追加センサーの機能を統合することで、当社のフレームワークは占有予測の精度と堅牢性を強化し、nuScenes ベンチマークで最高レベルのパフォーマンスを実現します。
さらに、困難な夜間や雨のシナリオを含む、nuScenes データセットに対して行われた広範な実験により、さまざまな知覚範囲にわたるセンサー フュージョン戦略の優れたパフォーマンスが確認されました。
このフレームワークのコードは、https://github.com/DanielMing123/OCCFusion で利用可能になります。

要約(オリジナル)

This paper introduces OccFusion, a straightforward and efficient sensor fusion framework for predicting 3D occupancy. A comprehensive understanding of 3D scenes is crucial in autonomous driving, and recent models for 3D semantic occupancy prediction have successfully addressed the challenge of describing real-world objects with varied shapes and classes. However, existing methods for 3D occupancy prediction heavily rely on surround-view camera images, making them susceptible to changes in lighting and weather conditions. By integrating features from additional sensors, such as lidar and surround view radars, our framework enhances the accuracy and robustness of occupancy prediction, resulting in top-tier performance on the nuScenes benchmark. Furthermore, extensive experiments conducted on the nuScenes dataset, including challenging night and rainy scenarios, confirm the superior performance of our sensor fusion strategy across various perception ranges. The code for this framework will be made available at https://github.com/DanielMing123/OCCFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google