LaMPilot: An Open Benchmark Dataset for Autonomous Driving with Language Model Programs

要約

自動運転分野における計画のための新しいフレームワークである LaMPilot を紹介し、確立された動作プリミティブを活用するコード生成プロセスとしてタスクを再考します。
このアプローチは、既存のフレームワークでは通常困難を引き起こしてきた、「前の車を追い越してください」などの自発的なユーザー指示を解釈して実行するという課題に対処することを目的としています。
人間の指示を実行可能な運転ポリシーに変換する際の大規模言語モデル (LLM) の有効性を定量的に評価するために特別に設計された LaMPilot ベンチマークを紹介します。
次に、LaMPilot ベンチマークのタスクに対して、幅広い最先端のコード生成言語モデルを評価します。
実験の結果、GPT-4 は人間によるフィードバックを受けて、92.7% という驚異的なタスク完了率と 0.9% の最小衝突率を達成したことがわかりました。
この分野でのさらなる調査を促進するために、私たちのコードとデータセットが利用可能になります。

要約(オリジナル)

We present LaMPilot, a novel framework for planning in the field of autonomous driving, rethinking the task as a code-generation process that leverages established behavioral primitives. This approach aims to address the challenge of interpreting and executing spontaneous user instructions such as ‘overtake the car ahead,’ which have typically posed difficulties for existing frameworks. We introduce the LaMPilot benchmark specifically designed to quantitatively evaluate the efficacy of Large Language Models (LLMs) in translating human directives into actionable driving policies. We then evaluate a wide range of state-of-the-art code generation language models on tasks from the LaMPilot Benchmark. The results of the experiments showed that GPT-4, with human feedback, achieved an impressive task completion rate of 92.7% and a minimal collision rate of 0.9%. To encourage further investigation in this area, our code and dataset will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google