Evaluation of Large Language Models for Decision Making in Autonomous Driving

要約

自動運転においてラージ言語モデル（LLM）を利用するためのさまざまな方法が提案されています。
自動運転に LLM を使用する戦略の 1 つは、周囲の物体をテキスト プロンプトとして LLM に入力し、それらの座標および速度情報を入力し、その後の車両の動きを出力することです。
このような目的で LLM を使用する場合、空間認識や計画などの機能が不可欠です。
特に、(1) 座標情報から空間を認識し、衝突を回避するための意思決定を行う空間認識意思決定能力と、(2) 交通ルールを遵守する能力の 2 つの基礎的な能力が必要です。
ただし、さまざまな種類の LLM がこれらの問題をどの程度正確に処理できるかについての定量的な研究は行われていません。
本研究では、自動運転におけるLLMのこれら2つの能力を定量的に評価しました。
さらに、これらの機能を実際の車両に実装する可能性を検証する概念実証(POC)を行うために、LLMを使用して車両を駆動するシステムを開発しました。

要約(オリジナル)

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google