LLM-attacker: Enhancing Closed-loop Adversarial Scenario Generation for Autonomous Driving with Large Language Models

要約

自律運転システム（ADS）の安全性を確保し、改善することは、特に安全性の高いイベントで、高度に自動化された車両の展開に不可欠です。
希少性の問題に対処するために、交通参加者の行動が操作され、安全性が批判的なイベントを誘導するために操作される敵対的なシナリオ生成方法が開発されます。
ただし、既存の方法はまだ2つの制限に直面しています。
第一に、敵対者の特定は、世代の有効性に直接影響します。
ただし、多くの参加者と多様な行動をとる現実世界のシナリオの複雑さは、識別を困難にします。
第二に、広告のパフォーマンスを継続的に改善するために生成された安全性が批判的なシナリオの可能性は未定です。
これらの問題に対処するために、LLM-attackerを提案します。大規模な言語モデル（LLM）を活用する閉ループ敵対的なシナリオ生成フレームワークを提案します。
具体的には、複数のLLMエージェントが設計および調整され、最適な攻撃者を特定します。
次に、攻撃者の軌跡が最適化され、敵対的なシナリオが生成されます。
これらのシナリオは、広告のパフォーマンスに基づいて繰り返し洗練されており、広告を改善するフィードバックループを形成します。
実験結果は、LLM攻撃者が他の方法よりも危険なシナリオを作成できることを示しており、それでトレーニングされた広告は、通常のシナリオを使用したトレーニングの衝突率の半分を達成します。
これは、LLM攻撃者が広告の安全性と堅牢性をテストおよび強化する能力を示しています。
ビデオのデモンストレーションは、https：//drive.google.com/file/d/1zv4v3ig7825oyikbuws2y-rr0dqie1za/viewで提供されています。

要約(オリジナル)

Ensuring and improving the safety of autonomous driving systems (ADS) is crucial for the deployment of highly automated vehicles, especially in safety-critical events. To address the rarity issue, adversarial scenario generation methods are developed, in which behaviors of traffic participants are manipulated to induce safety-critical events. However, existing methods still face two limitations. First, identification of the adversarial participant directly impacts the effectiveness of the generation. However, the complexity of real-world scenarios, with numerous participants and diverse behaviors, makes identification challenging. Second, the potential of generated safety-critical scenarios to continuously improve ADS performance remains underexplored. To address these issues, we propose LLM-attacker: a closed-loop adversarial scenario generation framework leveraging large language models (LLMs). Specifically, multiple LLM agents are designed and coordinated to identify optimal attackers. Then, the trajectories of the attackers are optimized to generate adversarial scenarios. These scenarios are iteratively refined based on the performance of ADS, forming a feedback loop to improve ADS. Experimental results show that LLM-attacker can create more dangerous scenarios than other methods, and the ADS trained with it achieves a collision rate half that of training with normal scenarios. This indicates the ability of LLM-attacker to test and enhance the safety and robustness of ADS. Video demonstrations are provided at: https://drive.google.com/file/d/1Zv4V3iG7825oyiKbUwS2Y-rR0DQIE1ZA/view.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google