Text-to-Drive: Diverse Driving Behavior Synthesis via Large Language Models

要約

自動運転車などの安全性が重要なシステムのトレーニングと評価には、シミュレーションを通じてさまざまなシナリオを生成することが重要です。
しかし、他の車両の軌道をモデル化して、多様で有意義な緊密な相互作用をシミュレートする作業は、依然として法外なコストがかかります。
言語記述を採用して運転動作を生成することは、人間のオペレーターが幅広い運転操作をシミュレートするためのスケーラブルで直感的な方法を提供する有望な戦略として浮上しています。
ただし、大規模な注釈付き言語軌跡データが不足しているため、このアプローチは困難になります。
このギャップに対処するために、大規模言語モデル (LLM) を介して多様な運転行動を統合する Text-to-Drive (T2D) を提案します。
2 つの段階で機能する知識主導型のアプローチを導入します。
最初の段階では、LLM の埋め込み知識を利用して、シーンの運転動作の多様な言語記述を生成します。
次に、LLM の推論機能を活用して、これらの動作をシミュレーションで合成します。
T2D の中核では、LLM を使用して、低レベルの状態を高レベルの抽象化にマップする状態チャートを構築します。
この戦略は、低レベルの観察の要約、行動の説明とのポリシーの整合性の評価、補助的な報酬の形成などの下流タスクをすべて人間の監督を必要とせずに支援します。
私たちの知識主導型アプローチにより、T2D が他のベースラインと比較してより多様な軌跡を生成し、人間の好みをインタラクティブに組み込むことを可能にする自然言語インターフェイスを提供することを実証しました。
その他の例については、当社の Web サイトをご覧ください: https://text-to-drive.github.io/

要約(オリジナル)

Generating varied scenarios through simulation is crucial for training and evaluating safety-critical systems, such as autonomous vehicles. Yet, the task of modeling the trajectories of other vehicles to simulate diverse and meaningful close interactions remains prohibitively costly. Adopting language descriptions to generate driving behaviors emerges as a promising strategy, offering a scalable and intuitive method for human operators to simulate a wide range of driving interactions. However, the scarcity of large-scale annotated language-trajectory data makes this approach challenging. To address this gap, we propose Text-to-Drive (T2D) to synthesize diverse driving behaviors via Large Language Models (LLMs). We introduce a knowledge-driven approach that operates in two stages. In the first stage, we employ the embedded knowledge of LLMs to generate diverse language descriptions of driving behaviors for a scene. Then, we leverage LLM’s reasoning capabilities to synthesize these behaviors in simulation. At its core, T2D employs an LLM to construct a state chart that maps low-level states to high-level abstractions. This strategy aids in downstream tasks such as summarizing low-level observations, assessing policy alignment with behavior description, and shaping the auxiliary reward, all without needing human supervision. With our knowledge-driven approach, we demonstrate that T2D generates more diverse trajectories compared to other baselines and offers a natural language interface that allows for interactive incorporation of human preference. Please check our website for more examples: https://text-to-drive.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google