Combating Partial Perception Deficit in Autonomous Driving with Multimodal LLM Commonsense

要約

部分的な認識障害は、環境の理解を混乱させることにより、自律的な車両の安全性を損なう可能性があります。
現在のプロトコルは通常、即時の停止または最小限のリスクの操作で応答し、トラフィックの流れが悪化し、まれな運転シナリオの柔軟性がありません。
このホワイトペーパーでは、LLM-RCOを提案します。LLM-RCOは、人間のような運転の常識を知覚障害に直面する自律システムに統合するための大規模な言語モデルを活用するフレームワークであると提案します。
LLM-RCOには、ハザード推論、短期モーションプランナー、アクション条件検証剤、および安全制約ジェネレーターの4つの重要なモジュールがあります。
これらのモジュールは、動的な駆動環境と相互作用し、自律エージェントの元の制御ポリシーをオーバーライドするためのプロアクティブでコンテキスト対応の制御アクションを可能にします。
このような困難な条件での安全性を改善するために、LLMベースのハザード推論とモーションプランニング微調整の注釈を備えた、安全性が批判的なオブジェクトの赤字を備えた53,895のビデオクリップのデータセットであるDrivelm-Deficitを構築します。
CARLAシミュレーターによる有害な運転条件の広範な実験は、LLM-RCOを装備したシステムが運転性能を大幅に改善し、有害な知覚障害に対する自律運転の回復力を高める可能性を強調することを示しています。
また、我々の結果は、Drivelm-Deficitで微調整されたLLMが、知覚赤字の文脈で保守的な停止の代わりに、より積極的な動きを可能にする可能性があることを示しています。

要約(オリジナル)

Partial perception deficits can compromise autonomous vehicle safety by disrupting environmental understanding. Current protocols typically respond with immediate stops or minimal-risk maneuvers, worsening traffic flow and lacking flexibility for rare driving scenarios. In this paper, we propose LLM-RCO, a framework leveraging large language models to integrate human-like driving commonsense into autonomous systems facing perception deficits. LLM-RCO features four key modules: hazard inference, short-term motion planner, action condition verifier, and safety constraint generator. These modules interact with the dynamic driving environment, enabling proactive and context-aware control actions to override the original control policy of autonomous agents. To improve safety in such challenging conditions, we construct DriveLM-Deficit, a dataset of 53,895 video clips featuring deficits of safety-critical objects, complete with annotations for LLM-based hazard inference and motion planning fine-tuning. Extensive experiments in adverse driving conditions with the CARLA simulator demonstrate that systems equipped with LLM-RCO significantly improve driving performance, highlighting its potential for enhancing autonomous driving resilience against adverse perception deficits. Our results also show that LLMs fine-tuned with DriveLM-Deficit can enable more proactive movements instead of conservative stops in the context of perception deficits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google