Dialogue-based generation of self-driving simulation scenarios using Large Language Models

要約

シミュレーションは、自動運転車のコントローラーを開発および評価するための非常に貴重なツールです。
現在のシミュレーション フレームワークは、高度に専門化されたドメイン固有言語によって駆動されているため、自然言語インターフェイスは使いやすさを大幅に向上させます。
しかし、簡潔な英語の発話と、ユーザーの意図を捉える実行可能コードの間には、ユーザーが行っている暗黙の仮定からなるギャップが存在することがよくあります。
この論文では、拡張されたマルチモーダル インタラクションをサポートすることでこの問題に対処するシステムについて説明します。ユーザーは、これまでの発話から生成されたシミュレーションに反応して、事前の指示を修正または修正してフォローアップできます。
私たちは大規模言語モデル (LLM) を使用して、このインタラクションにおけるユーザーの英語の発話をドメイン固有のコードにマッピングします。そのため、談話内で話者の意図するメッセージを計算するために必要な文脈依存性を LLM がどの程度捕捉するかを調査します。

要約(オリジナル)

Simulation is an invaluable tool for developing and evaluating controllers for self-driving cars. Current simulation frameworks are driven by highly-specialist domain specific languages, and so a natural language interface would greatly enhance usability. But there is often a gap, consisting of tacit assumptions the user is making, between a concise English utterance and the executable code that captures the user’s intent. In this paper we describe a system that addresses this issue by supporting an extended multimodal interaction: the user can follow up prior instructions with refinements or revisions, in reaction to the simulations that have been generated from their utterances so far. We use Large Language Models (LLMs) to map the user’s English utterances in this interaction into domain-specific code, and so we explore the extent to which LLMs capture the context sensitivity that’s necessary for computing the speaker’s intended message in discourse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google