Dual-AEB: Synergizing Rule-Based and Multimodal Large Language Models for Effective Emergency Braking

要約

自動緊急ブレーキ (AEB) システムは、自動運転車の乗員の安全を確保する上で重要なコンポーネントです。
従来の AEB システムは、主にクローズドセット認識モジュールに依存して交通状況を認識し、衝突リスクを評価します。
オープン シナリオでの AEB システムの適応性を強化するために、包括的なシーン理解のための高度なマルチモーダル大規模言語モデル (MLLM) と、迅速な応答時間を確保するための従来のルールベースの高速 AEB を組み合わせたシステムであるデュアル AEB を提案します。
私たちの知る限り、デュアル AEB は、AEB システム内に MLLM を組み込む最初の方法です。
広範な実験を通じて、私たちはこの方法の有効性を検証しました。
ソース コードは https://github.com/ChipsICU/Dual-AEB で入手できます。

要約(オリジナル)

Automatic Emergency Braking (AEB) systems are a crucial component in ensuring the safety of passengers in autonomous vehicles. Conventional AEB systems primarily rely on closed-set perception modules to recognize traffic conditions and assess collision risks. To enhance the adaptability of AEB systems in open scenarios, we propose Dual-AEB, a system combines an advanced multimodal large language model (MLLM) for comprehensive scene understanding and a conventional rule-based rapid AEB to ensure quick response times. To the best of our knowledge, Dual-AEB is the first method to incorporate MLLMs within AEB systems. Through extensive experimentation, we have validated the effectiveness of our method. The source code will be available at https://github.com/ChipsICU/Dual-AEB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google