KoMA: Knowledge-driven Multi-agent Framework for Autonomous Driving with Large Language Models

要約

自律エージェントとしての大規模言語モデル (LLM) は、知識主導型の方法で現実世界の課題に取り組むための新しい手段を提供します。
これらの LLM で強化された方法論は、一般化と解釈性に優れています。
ただし、運転タスクの複雑さにより、多くの場合、複数の異種エージェントの協力が必要となり、このような LLM 主導のエージェントが協力的な知識共有と認知相乗効果に取り組む必要性が強調されています。
LLM の期待にもかかわらず、現在のアプリケーションは主に単一エージェントのシナリオを中心としています。
知識主導型戦略の視野を広げ、自律エージェントの汎化能力を強化するために、マルチエージェント相互作用、マルチステップ計画、共有メモリ、およびマルチエージェントを強化するランキングベースの反映モジュールで構成される KoMA フレームワークを提案します。
複雑な運転シナリオにおける意思決定。
フレームワークが生成した運転シナリオのテキスト記述に基づいて、マルチエージェント インタラクション モジュールにより、LLM エージェントは人間の認知と同様に、周囲の車両の意図を分析および推測できるようになります。
マルチステップ計画モジュールにより、LLM エージェントは層ごとに最終的なアクション決定を分析して取得し、短期的なアクション決定の一貫した目標を確保できます。
共有メモリ モジュールは集合的な経験を蓄積して優れた意思決定を行うことができ、ランキングベースの反映モジュールは運転の安全性と効率を高めることを目的としてエージェントの行動を評価および改善できます。
KoMA フレームワークは、自動運転エージェントの堅牢性と適応性を強化するだけでなく、多様なシナリオにわたる自動運転エージェントの汎化機能も大幅に向上します。
経験的な結果は、特に大規模な再トレーニングなしで複雑で予測不可能な運転環境に対処する能力において、従来の方法よりも当社のアプローチが優れていることを示しています。

要約(オリジナル)

Large language models (LLMs) as autonomous agents offer a novel avenue for tackling real-world challenges through a knowledge-driven manner. These LLM-enhanced methodologies excel in generalization and interpretability. However, the complexity of driving tasks often necessitates the collaboration of multiple, heterogeneous agents, underscoring the need for such LLM-driven agents to engage in cooperative knowledge sharing and cognitive synergy. Despite the promise of LLMs, current applications predominantly center around single agent scenarios. To broaden the horizons of knowledge-driven strategies and bolster the generalization capabilities of autonomous agents, we propose the KoMA framework consisting of multi-agent interaction, multi-step planning, shared-memory, and ranking-based reflection modules to enhance multi-agents’ decision-making in complex driving scenarios. Based on the framework’s generated text descriptions of driving scenarios, the multi-agent interaction module enables LLM agents to analyze and infer the intentions of surrounding vehicles, akin to human cognition. The multi-step planning module enables LLM agents to analyze and obtain final action decisions layer by layer to ensure consistent goals for short-term action decisions. The shared memory module can accumulate collective experience to make superior decisions, and the ranking-based reflection module can evaluate and improve agent behavior with the aim of enhancing driving safety and efficiency. The KoMA framework not only enhances the robustness and adaptability of autonomous driving agents but also significantly elevates their generalization capabilities across diverse scenarios. Empirical results demonstrate the superiority of our approach over traditional methods, particularly in its ability to handle complex, unpredictable driving environments without extensive retraining.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google