TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning

要約

ディープ補強学習（DRL）および大規模な言語モデル（LLM）は、それぞれ自律運転の意思決定の課題に対処することで有望であることを示していますが、DRLはサンプルの複雑さが高いことがよくありますが、LLMはリアルタイムの意思決定を保証することが困難です。
これらの制限に対処するために、教師LLMを統合して注意ベースの学生DRLポリシーを導くハイブリッドフレームワークであるTell-Driveを提案します。
リスクメトリック、歴史的シナリオ検索、およびドメインヒューリスティックをコンテキストが豊富なプロンプトに組み込むことにより、LLMは、考え方の推論を通じて高レベルの運転戦略を生成します。
その後、自己関節メカニズムは、これらの戦略をDRLエージェントの探索と融合し、ポリシーの収束を加速し、多様な運転条件全体で堅牢性を高めます。
複数のトラフィックシナリオで評価された実験結果は、Tell-driveが成功率、平均リターン、リアルタイムの実現可能性の観点から、他のLLMベースのアプローチを含む既存のベースラインメソッドを上回ることを示しています。
アブレーション研究は、各モデルコンポーネントの重要性、特に注意メカニズムとLLM駆動型ガイダンスとの相乗効果を強調しています。
最後に、仮想リアルフュージョンの実験プラットフォームを構築して、リアルタイムのパフォーマンス、堅牢性、および車両のループ実験を通じて実行されるアルゴリズムの信頼性を検証します。

要約(オリジナル)

Although Deep Reinforcement Learning (DRL) and Large Language Models (LLMs) each show promise in addressing decision-making challenges in autonomous driving, DRL often suffers from high sample complexity, while LLMs have difficulty ensuring real-time decision making. To address these limitations, we propose TeLL-Drive, a hybrid framework that integrates a Teacher LLM to guide an attention-based Student DRL policy. By incorporating risk metrics, historical scenario retrieval, and domain heuristics into context-rich prompts, the LLM produces high-level driving strategies through chain-of-thought reasoning. A self-attention mechanism then fuses these strategies with the DRL agent’s exploration, accelerating policy convergence and boosting robustness across diverse driving conditions. The experimental results, evaluated across multiple traffic scenarios, show that TeLL-Drive outperforms existing baseline methods, including other LLM-based approaches, in terms of success rates, average returns, and real-time feasibility. Ablation studies underscore the importance of each model component, especially the synergy between the attention mechanism and LLM-driven guidance. Finally, we build a virtual-real fusion experimental platform to verify the real-time performance, robustness, and reliability of the algorithm running on real vehicles through vehicle-in-loop experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google