Enhancing Autonomous Vehicle Training with Language Model Integration and Critical Scenario Generation

要約

このペーパーでは、自動運転車 (AV) のトレーニングとテストのための新しい閉ループ フレームワークである CRITICAL を紹介します。
CRITICAL は、強化学習 (RL) エージェントで特定された特定の学習とパフォーマンスのギャップをターゲットとする重要な運転状況に焦点を当て、多様なシナリオを生成する機能で際立っています。
このフレームワークは、現実世界の交通力学、運転行動分析、代替安全対策、およびオプションの大規模言語モデル (LLM) コンポーネントを統合することでこれを実現します。
データ生成パイプラインとトレーニング プロセスの間に閉フィードバック ループを確立すると、トレーニング中の学習率が向上し、システム全体のパフォーマンスが向上し、安全性の回復力が強化されることが証明されています。
Proximal Policy Optimization (PPO) と HighwayEnv シミュレーション環境を使用して実施された評価では、クリティカル ケース生成と LLM 分析の統合により顕著なパフォーマンスの向上が実証されており、AV システムの堅牢性を向上させ、クリティカル シナリオの生成を合理化する CRITICAL の可能性が示されています。
。
これは最終的に、AV エージェントの開発を促進し、RL トレーニングの一般的な範囲を拡大し、AV の安全性の検証の取り組みを改善するのに役立ちます。

要約(オリジナル)

This paper introduces CRITICAL, a novel closed-loop framework for autonomous vehicle (AV) training and testing. CRITICAL stands out for its ability to generate diverse scenarios, focusing on critical driving situations that target specific learning and performance gaps identified in the Reinforcement Learning (RL) agent. The framework achieves this by integrating real-world traffic dynamics, driving behavior analysis, surrogate safety measures, and an optional Large Language Model (LLM) component. It is proven that the establishment of a closed feedback loop between the data generation pipeline and the training process can enhance the learning rate during training, elevate overall system performance, and augment safety resilience. Our evaluations, conducted using the Proximal Policy Optimization (PPO) and the HighwayEnv simulation environment, demonstrate noticeable performance improvements with the integration of critical case generation and LLM analysis, indicating CRITICAL’s potential to improve the robustness of AV systems and streamline the generation of critical scenarios. This ultimately serves to hasten the development of AV agents, expand the general scope of RL training, and ameliorate validation efforts for AV safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google