GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model

要約

自動運転トレーニングには、さまざまな交通状況、気象シナリオ、道路の種類を含む多様なデータセットが必要です。
従来のデータ拡張手法では、まれな出来事を表すデータセットを生成するのに苦労することがよくあります。
この課題に対処するために、私たちは、高度な潜在拡散モデルである Stable Diffusion XL (SDXL) の機能を活用して、運転シナリオを生成するための新しいアプローチである GenDDS を提案します。
私たちの方法論には、現実的で多様な運転シナリオを作成することを目的とした、合成プロセスをガイドするための説明プロンプトの使用が含まれます。
ControlNet や Hotshot-XL などの最新のコンピューター ビジョン技術を利用して、SDXL と合わせてビデオ生成のための完全なパイプラインを構築しました。
モデルのトレーニングには、実際の運転ビデオを含む KITTI データセットを使用します。
一連の実験を通じて、私たちのモデルが現実世界の運転シナリオの複雑さと変動性を厳密に再現する高品質の運転ビデオを生成できることを実証しました。
この研究は、自動運転システム用の高度なトレーニング データの開発に貢献し、シミュレーションと検証を目的とした仮想環境を作成するための新しい道を開きます。

要約(オリジナル)

Autonomous driving training requires a diverse range of datasets encompassing various traffic conditions, weather scenarios, and road types. Traditional data augmentation methods often struggle to generate datasets that represent rare occurrences. To address this challenge, we propose GenDDS, a novel approach for generating driving scenarios generation by leveraging the capabilities of Stable Diffusion XL (SDXL), an advanced latent diffusion model. Our methodology involves the use of descriptive prompts to guide the synthesis process, aimed at producing realistic and diverse driving scenarios. With the power of the latest computer vision techniques, such as ControlNet and Hotshot-XL, we have built a complete pipeline for video generation together with SDXL. We employ the KITTI dataset, which includes real-world driving videos, to train the model. Through a series of experiments, we demonstrate that our model can generate high-quality driving videos that closely replicate the complexity and variability of real-world driving scenarios. This research contributes to the development of sophisticated training data for autonomous driving systems and opens new avenues for creating virtual environments for simulation and validation purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google