Panacea+: Panoramic and Controllable Video Generation for Autonomous Driving

要約

自動運転の分野では、高品質の注釈付きビデオ トレーニング データの需要がますます高まっています。
この論文では、運転シーンでビデオ データを生成するための強力で普遍的に適用可能なフレームワークである Panacea+ を提案します。
以前の作品である Panacea の基礎に基づいて構築された Panacea+ は、マルチビューの外観ノイズ事前メカニズムと、一貫性の強化と解像度の向上のための超解像度モジュールを採用しています。
広範な実験により、Panacea+ から生成されたビデオ サンプルは、nuScenes および Argoverse 2 データセットでの 3D オブジェクト追跡、3D オブジェクト検出、車線検出タスクなど、さまざまなデータセットでの幅広いタスクに大きな利益をもたらすことが示されています。
これらの結果は、Panacea+ が自動運転のための貴重なデータ生成フレームワークであることを強く証明しています。

要約(オリジナル)

The field of autonomous driving increasingly demands high-quality annotated video training data. In this paper, we propose Panacea+, a powerful and universally applicable framework for generating video data in driving scenes. Built upon the foundation of our previous work, Panacea, Panacea+ adopts a multi-view appearance noise prior mechanism and a super-resolution module for enhanced consistency and increased resolution. Extensive experiments show that the generated video samples from Panacea+ greatly benefit a wide range of tasks on different datasets, including 3D object tracking, 3D object detection, and lane detection tasks on the nuScenes and Argoverse 2 dataset. These results strongly prove Panacea+ to be a valuable data generation framework for autonomous driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google