GPT-Driver: Learning to Drive with GPT

要約

OpenAI GPT-3.5 モデルを自動運転車向けの信頼できるモーション プランナーに変換できる、シンプルかつ効果的なアプローチを紹介します。
動作計画は自動運転における中心的な課題であり、安全で快適な運転軌道を計画することを目的としています。
既存のモーション プランナーは主にヒューリスティック手法を活用して運転軌道を予測していますが、これらのアプローチは、斬新で見たことのない運転シナリオに直面した場合、一般化機能が不十分であることを示しています。
この論文では、大規模言語モデル (LLM) に固有の強力な推論能力と一般化の可能性を活用した、動作計画への新しいアプローチを提案します。
私たちのアプローチの基本的な洞察は、動作計画を言語モデリングの問題として再定式化することであり、これまで検討されていなかった視点です。
具体的には、プランナーの入力と出力を言語トークンとして表し、LLM を活用して、座標位置の言語記述を通じて運転軌道を生成します。
さらに、LLM の数値推論の可能性を刺激するための新しいプロンプト推論微調整戦略を提案します。
この戦略により、LLM は高精度の軌道座標とその内部意思決定プロセスを自然言語で記述することができます。
私たちは大規模な nuScenes データセットに対するアプローチを評価し、広範な実験により GPT ベースのモーション プランナーの有効性、一般化能力、解釈可能性を実証しました。
コードは現在 https://github.com/PointsCoder/GPT-Driver で入手できます。

要約(オリジナル)

We present a simple yet effective approach that can transform the OpenAI GPT-3.5 model into a reliable motion planner for autonomous vehicles. Motion planning is a core challenge in autonomous driving, aiming to plan a driving trajectory that is safe and comfortable. Existing motion planners predominantly leverage heuristic methods to forecast driving trajectories, yet these approaches demonstrate insufficient generalization capabilities in the face of novel and unseen driving scenarios. In this paper, we propose a novel approach to motion planning that capitalizes on the strong reasoning capabilities and generalization potential inherent to Large Language Models (LLMs). The fundamental insight of our approach is the reformulation of motion planning as a language modeling problem, a perspective not previously explored. Specifically, we represent the planner inputs and outputs as language tokens, and leverage the LLM to generate driving trajectories through a language description of coordinate positions. Furthermore, we propose a novel prompting-reasoning-finetuning strategy to stimulate the numerical reasoning potential of the LLM. With this strategy, the LLM can describe highly precise trajectory coordinates and also its internal decision-making process in natural language. We evaluate our approach on the large-scale nuScenes dataset, and extensive experiments substantiate the effectiveness, generalization ability, and interpretability of our GPT-based motion planner. Code is now available at https://github.com/PointsCoder/GPT-Driver.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google