Robust RL with LLM-Driven Data Synthesis and Policy Adaptation for Autonomous Driving

要約

大規模言語モデル (LLM) を自動運転システムに統合すると、強力な常識と推論能力が実証され、純粋にデータ駆動型の手法の落とし穴に効果的に対処できます。
現在の LLM ベースのエージェントは長い推論時間を必要とし、リアルタイムの自動運転環境と対話する際に課題に直面しています。
重要な未解決の問題は、LLM からの知識を効果的に活用して、効率的で堅牢な強化学習 (RL) エージェントをトレーニングできるかどうかです。
この文書では、RAPID、新しい \underline{\textbf{R}}obust \underline{\textbf{A}}daptive \underline{\textbf{P}}olicy \underline{\textbf{I}}nfusion および \underline について紹介します。
{\textbf{D}}抽出フレームワーク。LLM ベースの駆動エージェントとオンライン適応によって合成されたデータを使用して、特殊なポリシー混合 RL エージェントをトレーニングします。
RAPID は 3 つの主要な設計を特徴としています。1) LLM エージェントから収集されたオフライン データを利用して、専門知識を RL ポリシーに抽出し、より高速なリアルタイム推論を実現します。
2) LLM ベースの教師からパフォーマンスと堅牢性の両方を継承するための RL への堅牢な蒸留の導入。
3) ポリシーアダプターを使用した共同決定デコードのためのポリシー混合アプローチの採用。
RAPID は、オンライン環境の対話による微調整を通じて、さまざまなタスクへの適応性を維持しながら、LLM の知識の忘れを減らします。
広範な実験により、効率的、適応性のある、堅牢な方法で LLM の知識をスケールダウンされた RL ポリシーに効果的に統合する RAPID の機能が実証されました。
コードとチェックポイントは、承認され次第公開されます。

要約(オリジナル)

The integration of Large Language Models (LLMs) into autonomous driving systems demonstrates strong common sense and reasoning abilities, effectively addressing the pitfalls of purely data-driven methods. Current LLM-based agents require lengthy inference times and face challenges in interacting with real-time autonomous driving environments. A key open question is whether we can effectively leverage the knowledge from LLMs to train an efficient and robust Reinforcement Learning (RL) agent. This paper introduces RAPID, a novel \underline{\textbf{R}}obust \underline{\textbf{A}}daptive \underline{\textbf{P}}olicy \underline{\textbf{I}}nfusion and \underline{\textbf{D}}istillation framework, which trains specialized mix-of-policy RL agents using data synthesized by an LLM-based driving agent and online adaptation. RAPID features three key designs: 1) utilization of offline data collected from an LLM agent to distil expert knowledge into RL policies for faster real-time inference; 2) introduction of robust distillation in RL to inherit both performance and robustness from LLM-based teacher; and 3) employment of a mix-of-policy approach for joint decision decoding with a policy adapter. Through fine-tuning via online environment interaction, RAPID reduces the forgetting of LLM knowledge while maintaining adaptability to different tasks. Extensive experiments demonstrate RAPID’s capability to effectively integrate LLM knowledge into scaled-down RL policies in an efficient, adaptable, and robust way. Code and checkpoints will be made publicly available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google