Asynchronous Large Language Model Enhanced Planner for Autonomous Driving

要約

リアルタイム プランナーは自動運転において顕著なパフォーマンスを示していますが、大規模言語モデル (LLM) の研究が進んでいることにより、動作計画の解釈可能性と制御可能性を向上させる道が開かれています。
それにもかかわらず、LLM ベースのプランナーは、リソース消費量の増加や推論時間の延長など、実際の展開に大きな障害となる重大な課題に引き続き直面しています。
これらの課題を考慮して、LLM によって生成されたシーン関連の指示機能を活用して、リアルタイム プランナーが正確で制御可能な軌道予測を行えるように設計された新しい非同期 LLM 強化閉ループ フレームワークである AsyncDriver を紹介します。
一方で、私たちの方法は、ベクトル化されたシーンデータと一連のルーティング命令を理解して推論する際のLLMの能力を強調し、リアルタイムプランナーに対する効果的な支援を実証しています。
一方、提案されたフレームワークは、LLM とリアルタイム プランナーの推論プロセスを分離します。
推論周波数の非同期の性質を利用することで、私たちのアプローチは、同等のパフォーマンスを維持しながら、LLM によって導入される計算コストを削減することに成功しました。
実験では、nuPlan の困難なシナリオにおいて、私たちのアプローチが優れた閉ループ評価パフォーマンスを達成することが示されています。

要約(オリジナル)

Despite real-time planners exhibiting remarkable performance in autonomous driving, the growing exploration of Large Language Models (LLMs) has opened avenues for enhancing the interpretability and controllability of motion planning. Nevertheless, LLM-based planners continue to encounter significant challenges, including elevated resource consumption and extended inference times, which pose substantial obstacles to practical deployment. In light of these challenges, we introduce AsyncDriver, a new asynchronous LLM-enhanced closed-loop framework designed to leverage scene-associated instruction features produced by LLM to guide real-time planners in making precise and controllable trajectory predictions. On one hand, our method highlights the prowess of LLMs in comprehending and reasoning with vectorized scene data and a series of routing instructions, demonstrating its effective assistance to real-time planners. On the other hand, the proposed framework decouples the inference processes of the LLM and real-time planners. By capitalizing on the asynchronous nature of their inference frequencies, our approach have successfully reduced the computational cost introduced by LLM, while maintaining comparable performance. Experiments show that our approach achieves superior closed-loop evaluation performance on nuPlan’s challenging scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google