ReliOcc: Towards Reliable Semantic Occupancy Prediction via Uncertainty Learning

要約

視覚中心のセマンティック占有予測は自動運転において重要な役割を果たしており、自動運転には低コストのセンサーによる正確で信頼性の高い予測が必要です。
LiDAR との精度の差は顕著に縮まりましたが、カメラからのセマンティック占有の予測の信頼性を探る研究努力はまだほとんどありません。
この論文では、信頼性の観点から既存の意味的占有予測モデルの包括的な評価を初めて実行します。
カメラベースのモデルと LiDAR の精度の点では段階的に一致しているにもかかわらず、信頼性には大きなギャップが残っています。
この懸念に対処するために、カメラベースの占有ネットワークの信頼性を高めるために設計された手法である ReliOcc を提案します。
ReliOcc は、既存のモデルにプラグ アンド プレイ スキームを提供します。これは、ミックスアップ学習を通じて、個々のボクセルとサンプリング ベースのノイズおよび相対ボクセルからのハイブリッド不確実性を統合します。
さらに、オフライン モードでのモデルの信頼性をさらに高めるために、不確実性を考慮したキャリブレーション戦略が考案されています。
さまざまな設定での広範な実験により、ReliOcc が幾何学的な予測と意味論的な予測の両方の精度を維持しながら、モデルの信頼性を大幅に向上させることが実証されました。
重要なのは、私たちが提案したアプローチは、推論中のセンサーの故障や領域外のノイズに対する堅牢性を示していることです。

要約(オリジナル)

Vision-centric semantic occupancy prediction plays a crucial role in autonomous driving, which requires accurate and reliable predictions from low-cost sensors. Although having notably narrowed the accuracy gap with LiDAR, there is still few research effort to explore the reliability in predicting semantic occupancy from camera. In this paper, we conduct a comprehensive evaluation of existing semantic occupancy prediction models from a reliability perspective for the first time. Despite the gradual alignment of camera-based models with LiDAR in term of accuracy, a significant reliability gap persists. To addresses this concern, we propose ReliOcc, a method designed to enhance the reliability of camera-based occupancy networks. ReliOcc provides a plug-and-play scheme for existing models, which integrates hybrid uncertainty from individual voxels with sampling-based noise and relative voxels through mix-up learning. Besides, an uncertainty-aware calibration strategy is devised to further enhance model reliability in offline mode. Extensive experiments under various settings demonstrate that ReliOcc significantly enhances model reliability while maintaining the accuracy of both geometric and semantic predictions. Importantly, our proposed approach exhibits robustness to sensor failures and out of domain noises during inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google