Generating Probabilistic Scenario Programs from Natural Language

要約

ロボット工学や自動運転車などのサイバーフィジカル システム (CPS) では、まれなイベントで動作するときに発生する致命的なエラーによって大量導入が妨げられてきました。
車両衝突などのまれな事象を再現するために、多くの企業はログ システムを作成し、衝突再現の専門家を雇用して、これらの貴重な事象をシミュレーションで細心の注意を払って再現しています。
ただし、これらの方法では、「もしも」の質問を簡単に作成して回答することはできません。
自然言語からシナリオプログラムを作成するAIシステム「ScenarioNL」を紹介します。
具体的には、警察の事故報告書からこれらのプログラムを生成します。
レポートには通常、確率的プログラミング言語 (PPL) である Scenic を通じて表現されるインシデントの正確な詳細についての不確実性が含まれています。
Scenic を使用することで、CPS の動作、特性、および相互作用の不確実性と変動を明確かつ簡潔に表現できます。
最高の大規模言語モデル (LLM) を使用した一般的なプロンプト手法では、確率的シナリオ プログラムを推論したり、Scenic などの低リソース言語のコードを生成したりすることができないことを示します。
私たちのシステムは、数種類のプロンプト戦略、コンパイラ、およびシミュレータと連鎖した複数の LLM で構成されています。
私たちは過去 5 年間のカリフォルニアで公開されている自動運転車の衝突報告書に基づいてシステムを評価し、意味的に意味があり、構文的に正しいコードをどのように生成するかについての洞察を共有します。

要約(オリジナル)

For cyber-physical systems (CPS), including robotics and autonomous vehicles, mass deployment has been hindered by fatal errors that occur when operating in rare events. To replicate rare events such as vehicle crashes, many companies have created logging systems and employed crash reconstruction experts to meticulously recreate these valuable events in simulation. However, in these methods, ‘what if’ questions are not easily formulated and answered. We present ScenarioNL, an AI System for creating scenario programs from natural language. Specifically, we generate these programs from police crash reports. Reports normally contain uncertainty about the exact details of the incidents which we represent through a Probabilistic Programming Language (PPL), Scenic. By using Scenic, we can clearly and concisely represent uncertainty and variation over CPS behaviors, properties, and interactions. We demonstrate how commonplace prompting techniques with the best Large Language Models (LLM) are incapable of reasoning about probabilistic scenario programs and generating code for low-resource languages such as Scenic. Our system is comprised of several LLMs chained together with several kinds of prompting strategies, a compiler, and a simulator. We evaluate our system on publicly available autonomous vehicle crash reports in California from the last five years and share insights into how we generate code that is both semantically meaningful and syntactically correct.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google