Planning Safety Trajectories with Dual-Phase, Physics-Informed, and Transportation Knowledge-Driven Large Language Models

要約

ファンデーションモデルは、シーンの理解、計画、制御など、運転関連のタスクにおける強力な推論と一般化能力を実証しています。
しかし、彼らはまだ幻覚、不確実性、長い推論の潜在性において課題に直面しています。
既存の基礎モデルには衝突を回避する一般的な知識がありますが、輸送固有の安全知識が不足していることがよくあります。
これらの制限を克服するために、安全で人間のような軌跡計画のための物理学に基づいた二重段階の知識主導のフレームワークであるLetSPIを紹介します。
幻覚を防ぎ、不確実性を最小限に抑えるために、このハイブリッドフレームワークは、物理学に基づいた社会的力のダイナミクスと大きな言語モデル（LLM）の推論を統合します。
LetSPIはLLMを活用して運転シーンと履歴情報を分析し、社会的力モデルの適切なパラメーターとターゲットの目的地（目標）を提供し、将来の軌跡を生成します。
さらに、デュアルフェーズアーキテクチャは、メモリ収集フェーズと高速推論フェーズを通じて、推論と計算効率のバランスを取ります。
メモリコレクションフェーズは、物理学に基づいたLLMを活用して、推論、反射、およびメモリモジュールを通じて計画結果を処理および改良し、メモリバンクに安全で質の高い運転体験を保存します。
代理安全対策と物理学に基づいた迅速な技術が、それぞれ輸送の安全性と物理力に関するLLMの知識を強化するために導入されています。
高速推論フェーズは、新しいシナリオの少数の例として同様の運転体験を抽出し、安全性を損なうことなく迅速な軌跡計画を可能にする入出力要件を簡素化します。
HighDデータセットを使用した広範な実験は、LetSPIが5つの安全メトリックにわたってベースラインモデルを上回ることを示しています。ProjectGithubリンクのPDFを参照してください。

要約(オリジナル)

Foundation models have demonstrated strong reasoning and generalization capabilities in driving-related tasks, including scene understanding, planning, and control. However, they still face challenges in hallucinations, uncertainty, and long inference latency. While existing foundation models have general knowledge of avoiding collisions, they often lack transportation-specific safety knowledge. To overcome these limitations, we introduce LetsPi, a physics-informed, dual-phase, knowledge-driven framework for safe, human-like trajectory planning. To prevent hallucinations and minimize uncertainty, this hybrid framework integrates Large Language Model (LLM) reasoning with physics-informed social force dynamics. LetsPi leverages the LLM to analyze driving scenes and historical information, providing appropriate parameters and target destinations (goals) for the social force model, which then generates the future trajectory. Moreover, the dual-phase architecture balances reasoning and computational efficiency through its Memory Collection phase and Fast Inference phase. The Memory Collection phase leverages the physics-informed LLM to process and refine planning results through reasoning, reflection, and memory modules, storing safe, high-quality driving experiences in a memory bank. Surrogate safety measures and physics-informed prompt techniques are introduced to enhance the LLM’s knowledge of transportation safety and physical force, respectively. The Fast Inference phase extracts similar driving experiences as few-shot examples for new scenarios, while simplifying input-output requirements to enable rapid trajectory planning without compromising safety. Extensive experiments using the HighD dataset demonstrate that LetsPi outperforms baseline models across five safety metrics.See PDF for project Github link.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google