Mutual Information-calibrated Conformal Feature Fusion for Uncertainty-Aware Multimodal 3D Object Detection at the Edge

要約

AI を活用したロボット工学の拡大する状況においては、予測の不確実性を確実に定量化することが非常に重要です。
重要なロボット操作である 3 次元 (3D) 物体検出は、大幅な進歩を遂げています。
しかし、現在の研究の大部分は精度のみに焦点を当てており、不確実性の定量化を無視しています。
このギャップに対処するために、私たちの新しい研究では、共形推論（CI）の原理と情報理論的手法を統合して、マルチモーダルなフレームワーク内で軽量でモンテカルロフリーの不確実性推定を実行します。
変分オートエンコーダー (VAE) の潜在変数の多変量ガウス積を通じて、RGB カメラと LiDAR センサー データの特徴が融合され、予測精度が向上します。
正規化相互情報量 (NMI) は、加重損失関数に基づいて CI から導出される不確実性境界を校正するための変調器として利用されます。
私たちのシミュレーション結果は、モデルのトレーニング全体を通じて、固有の予測不確実性と NMI の間に逆相関があることを示しています。
このフレームワークは、KITTI 3D 物体検出ベンチマークにおいて、不確実性を考慮しない同様の手法と同等以上のパフォーマンスを示し、リアルタイムのエッジ ロボティクスに適しています。

要約(オリジナル)

In the expanding landscape of AI-enabled robotics, robust quantification of predictive uncertainties is of great importance. Three-dimensional (3D) object detection, a critical robotics operation, has seen significant advancements; however, the majority of current works focus only on accuracy and ignore uncertainty quantification. Addressing this gap, our novel study integrates the principles of conformal inference (CI) with information theoretic measures to perform lightweight, Monte Carlo-free uncertainty estimation within a multimodal framework. Through a multivariate Gaussian product of the latent variables in a Variational Autoencoder (VAE), features from RGB camera and LiDAR sensor data are fused to improve the prediction accuracy. Normalized mutual information (NMI) is leveraged as a modulator for calibrating uncertainty bounds derived from CI based on a weighted loss function. Our simulation results show an inverse correlation between inherent predictive uncertainty and NMI throughout the model’s training. The framework demonstrates comparable or better performance in KITTI 3D object detection benchmarks to similar methods that are not uncertainty-aware, making it suitable for real-time edge robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google