Large Language Models Powered Context-aware Motion Prediction in Autonomous Driving

要約

動きの予測は、自動運転における最も基本的なタスクの 1 つです。
従来の動き予測方法は、主に地図のベクトル情報と交通参加者の履歴軌跡データをエンコードするため、全体的な交通セマンティクスの包括的な理解を欠いており、それが予測タスクのパフォーマンスに影響を与えます。
このペーパーでは、大規模言語モデル (LLM) を利用して、動き予測タスクのグローバル トラフィック コンテキストの理解を強化しました。
まず、体系的なプロンプト エンジニアリングを実施し、複雑な交通環境と交通参加者の履歴軌跡情報を画像プロンプト、つまり対応するテキスト プロンプトを伴う交通コンテキスト マップ (TC-Map) に視覚化しました。
このアプローチを通じて、LLM から豊富なトラフィック コンテキスト情報を取得しました。
この情報を動き予測モデルに統合することで、そのようなコンテキストが動き予測の精度を向上できることを実証します。
さらに、LLM に関連するコストを考慮して、0.7% の LLM 拡張データセットを使用して大規模な動き予測タスクの精度を向上させる、コスト効率の高い展開戦略を提案します。
私たちの研究は、LLM の交通シーンと自動運転の動作予測パフォーマンスの理解を高める上で貴重な洞察を提供します。
ソース コードは \url{https://github.com/AIR-DISCOVER/LLM-Augmented-MTR} および \url{https://aistudio.baidu.com/projectdetail/7809548} で入手できます。

要約(オリジナル)

Motion prediction is among the most fundamental tasks in autonomous driving. Traditional methods of motion forecasting primarily encode vector information of maps and historical trajectory data of traffic participants, lacking a comprehensive understanding of overall traffic semantics, which in turn affects the performance of prediction tasks. In this paper, we utilized Large Language Models (LLMs) to enhance the global traffic context understanding for motion prediction tasks. We first conducted systematic prompt engineering, visualizing complex traffic environments and historical trajectory information of traffic participants into image prompts — Transportation Context Map (TC-Map), accompanied by corresponding text prompts. Through this approach, we obtained rich traffic context information from the LLM. By integrating this information into the motion prediction model, we demonstrate that such context can enhance the accuracy of motion predictions. Furthermore, considering the cost associated with LLMs, we propose a cost-effective deployment strategy: enhancing the accuracy of motion prediction tasks at scale with 0.7\% LLM-augmented datasets. Our research offers valuable insights into enhancing the understanding of traffic scenes of LLMs and the motion prediction performance of autonomous driving. The source code is available at \url{https://github.com/AIR-DISCOVER/LLM-Augmented-MTR} and \url{https://aistudio.baidu.com/projectdetail/7809548}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google