Receive, Reason, and React: Drive as You Say with Large Language Models in Autonomous Vehicles

要約

人間中心の設計と人工知能 (AI) 機能の融合により、輸送手段を超えた次世代自動運転車の新たな可能性が開かれました。
これらの車両は乗客と動的に対話し、乗客の好みに適応できます。
この論文では、自動運転車における意思決定プロセスを強化するために大規模言語モデル (LLM) を活用する新しいフレームワークを提案します。
LLM の言語および文脈理解能力を特殊なツールで利用することで、LLM の言語および推論能力を自動運転車に統合することを目指しています。
私たちの研究には、さまざまなシナリオにおける LLM の解釈、対話、および推論を調査するための、自動運転および戦術的意思決定タスクのための環境のコレクションである HighwayEnv での実験が含まれています。
また、リアルタイムのパーソナライゼーションについても調査し、LLM が口頭コマンドに基づいて運転行動にどのような影響を与えることができるかを実証します。
私たちの実証結果は、思考連鎖プロンプトを利用することの大きな利点を強調し、運転決定の向上につながり、LLM が継続的な口頭フィードバックを通じてパーソナライズされた運転体験を向上させる可能性を示しています。
提案されたフレームワークは、自動運転車の運用を変革し、個別化されたサポート、透明性のある意思決定、安全性と有効性を高めるための継続的な学習を提供することを目的としています。
当社は、自動運転車への LLM の統合によってサポートされる、ユーザー中心で透明性のある適応型の自動運転エコシステムを実現します。

要約(オリジナル)

The fusion of human-centric design and artificial intelligence (AI) capabilities has opened up new possibilities for next-generation autonomous vehicles that go beyond transportation. These vehicles can dynamically interact with passengers and adapt to their preferences. This paper proposes a novel framework that leverages Large Language Models (LLMs) to enhance the decision-making process in autonomous vehicles. By utilizing LLMs’ linguistic and contextual understanding abilities with specialized tools, we aim to integrate the language and reasoning capabilities of LLMs into autonomous vehicles. Our research includes experiments in HighwayEnv, a collection of environments for autonomous driving and tactical decision-making tasks, to explore LLMs’ interpretation, interaction, and reasoning in various scenarios. We also examine real-time personalization, demonstrating how LLMs can influence driving behaviors based on verbal commands. Our empirical results highlight the substantial advantages of utilizing chain-of-thought prompting, leading to improved driving decisions, and showing the potential for LLMs to enhance personalized driving experiences through ongoing verbal feedback. The proposed framework aims to transform autonomous vehicle operations, offering personalized support, transparent decision-making, and continuous learning to enhance safety and effectiveness. We achieve user-centric, transparent, and adaptive autonomous driving ecosystems supported by the integration of LLMs into autonomous vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google