Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving

要約

モバイルロボット工学や自動運転における堅牢なシーン理解に対する需要の高まりにより、複数のセンシングモダリティを統合することの重要性が浮き彫りになっています。
カメラや LIDAR などのさまざまなセンサーからのデータを組み合わせることで、フュージョン技術は個々のセンサーの制限を克服し、環境をより完全かつ正確に認識できるようになります。
自動運転における重要な意思決定プロセスをサポートするグラフベースの状態表現の開発に焦点を当てた、マルチモーダル センサー フュージョンへの新しいアプローチを紹介します。
我々は、センサーに依存しないグラフ認識カルマン フィルター [3] を紹介します。これは、ノイズの多いマルチセンサー データから得られたマルチモーダル グラフを融合するように設計された最初のオンライン状態推定技術です。
推定されたグラフベースの状態表現は、複数オブジェクト追跡 (MOT) などの高度なアプリケーションの基盤として機能し、自律システムの状況認識と安全性を強化するための包括的なフレームワークを提供します。
私たちは、合成データセットと現実世界の運転データセット (nuScenes) の両方で行われた広範な実験を通じて、提案したフレームワークの有効性を検証します。
私たちの結果は、SAGA-KF を使用した追跡対象の MOTA の改善と推定位置誤差 (MOTP) と識別スイッチ (IDS) の減少を示しています。
さらに、さまざまなセンシングモダリティからの異種情報（セマンティックオブジェクトや幾何学的構造など）を活用できる方法を開発するこのようなフレームワークの機能を強調し、シーンの理解に対するより包括的なアプローチを可能にし、自律システムの安全性と有効性を強化します。

要約(オリジナル)

The growing demand for robust scene understanding in mobile robotics and autonomous driving has highlighted the importance of integrating multiple sensing modalities. By combining data from diverse sensors like cameras and LIDARs, fusion techniques can overcome the limitations of individual sensors, enabling a more complete and accurate perception of the environment. We introduce a novel approach to multi-modal sensor fusion, focusing on developing a graph-based state representation that supports critical decision-making processes in autonomous driving. We present a Sensor-Agnostic Graph-Aware Kalman Filter [3], the first online state estimation technique designed to fuse multi-modal graphs derived from noisy multi-sensor data. The estimated graph-based state representations serve as a foundation for advanced applications like Multi-Object Tracking (MOT), offering a comprehensive framework for enhancing the situational awareness and safety of autonomous systems. We validate the effectiveness of our proposed framework through extensive experiments conducted on both synthetic and real-world driving datasets (nuScenes). Our results showcase an improvement in MOTA and a reduction in estimated position errors (MOTP) and identity switches (IDS) for tracked objects using the SAGA-KF. Furthermore, we highlight the capability of such a framework to develop methods that can leverage heterogeneous information (like semantic objects and geometric structures) from various sensing modalities, enabling a more holistic approach to scene understanding and enhancing the safety and effectiveness of autonomous systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google