OccFusion: Depth Estimation Free Multi-sensor Fusion for 3D Occupancy Prediction

要約

信頼性の高い自動運転システムに不可欠なマルチセンサー フュージョンに基づく 3D 占有予測により、3D シーンのきめ細かい理解が可能になります。
これまでのフュージョンベースの 3D 占有予測は、2D 画像の特徴を処理するために奥行き推定に依存していました。
ただし、深度推定は不適切な問題であり、これらの方法の精度と堅牢性が妨げられます。
さらに、きめ細かい占有予測には、大量の計算リソースが必要です。
深度推定を必要としないマルチモーダル融合手法である OccFusion と、画像特徴を高密度に統合するための対応する点群サンプリング アルゴリズムを紹介します。
これに基づいて、アクティブなトレーニング方法とアクティブな粗いから細かいまでのパイプラインを提案します。これにより、モデルが複雑なサンプルから適応的に学習し、小さなオブジェクトや重複するオブジェクトなどの困難な領域に特化して予測を最適化できるようになります。
私たちが提案するアクティブな方法は、当然のことながら、あらゆる占有予測モデルに拡張できます。
OpenOccupancy ベンチマークの実験では、私たちの手法がすべてのカテゴリの IoU において既存の最先端 (SOTA) マルチモーダル手法を上回っていることが示されています。
さらに、私たちのモデルはトレーニング段階と推論段階の両方でより効率的であり、必要な計算リソースがはるかに少なくなります。
包括的なアブレーション研究により、私たちが提案する技術の有効性が実証されています。

要約(オリジナル)

3D occupancy prediction based on multi-sensor fusion, crucial for a reliable autonomous driving system, enables fine-grained understanding of 3D scenes. Previous fusion-based 3D occupancy predictions relied on depth estimation for processing 2D image features. However, depth estimation is an ill-posed problem, hindering the accuracy and robustness of these methods. Furthermore, fine-grained occupancy prediction demands extensive computational resources. We introduce OccFusion, a multi-modal fusion method free from depth estimation, and a corresponding point cloud sampling algorithm for dense integration of image features. Building on this, we propose an active training method and an active coarse to fine pipeline, enabling the model to adaptively learn more from complex samples and optimize predictions specifically for challenging areas such as small or overlapping objects. The active methods we propose can be naturally extended to any occupancy prediction model. Experiments on the OpenOccupancy benchmark show our method surpasses existing state-of-the-art (SOTA) multi-modal methods in IoU across all categories. Additionally, our model is more efficient during both the training and inference phases, requiring far fewer computational resources. Comprehensive ablation studies demonstrate the effectiveness of our proposed techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google