RealGen: Retrieval Augmented Generation for Controllable Traffic Scenarios

要約

現実世界でのテストには潜在的なリスクがあるため、シミュレーションは自動運転車 (AV) の開発において重要な役割を果たします。
シミュレーターのビジュアル面では大きな進歩が見られましたが、エージェント間で複雑な動作を生成することは依然として大きな課題です。
生成されるシナリオの現実性を確保することが不可欠であるだけでなく、AV トレーニングと評価のための制御可能な生成を容易にするための設定と条件を組み込むことも不可欠です。
主にトレーニング データセットの分布を記憶することに依存する従来の方法では、目に見えないシナリオを生成するには不十分なことがよくあります。
大規模言語モデルにおける検索拡張生成の成功に触発されて、交通シナリオ生成のための新しい検索ベースのインコンテキスト学習フレームワークである RealGen を紹介します。
RealGen は、取得した複数の例からの動作を勾配のない方法で組み合わせることによって、新しいシナリオを合成します。これは、テンプレートまたはタグ付けされたシナリオに由来する可能性があります。
このコンテキスト内学習フレームワークは、シナリオを編集し、さまざまな行動を構成し、重要なシナリオを生成する機能を含む、多用途の生成機能を提供します。
評価の結果、RealGen はかなりの柔軟性と制御性を提供し、制御可能なトラフィック シナリオ生成の分野に新たな方向性を示すことが示されました。
詳細については、プロジェクトの Web サイト (https://realgen.github.io) を確認してください。

要約(オリジナル)

Simulation plays a crucial role in the development of autonomous vehicles (AVs) due to the potential risks associated with real-world testing. Although significant progress has been made in the visual aspects of simulators, generating complex behavior among agents remains a formidable challenge. It is not only imperative to ensure realism in the scenarios generated but also essential to incorporate preferences and conditions to facilitate controllable generation for AV training and evaluation. Traditional methods, mainly relying on memorizing the distribution of training datasets, often fall short in generating unseen scenarios. Inspired by the success of retrieval augmented generation in large language models, we present RealGen, a novel retrieval-based in-context learning framework for traffic scenario generation. RealGen synthesizes new scenarios by combining behaviors from multiple retrieved examples in a gradient-free way, which may originate from templates or tagged scenarios. This in-context learning framework endows versatile generative capabilities, including the ability to edit scenarios, compose various behaviors, and produce critical scenarios. Evaluations show that RealGen offers considerable flexibility and controllability, marking a new direction in the field of controllable traffic scenario generation. Check our project website for more information: https://realgen.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google