DrivingSphere: Building a High-fidelity 4D World for Closed-loop Simulation

要約

自動運転の評価には、現実世界の感覚データや応答性の高いフィードバック ループなど、実際の道路状況を厳密に再現するシミュレーション環境が必要です。
ただし、既存のシミュレーションの多くは、公開データセットまたは合成フォトリアリスティック データ上の固定ルートに沿ったウェイポイントを予測する必要があります。つまり、開ループ シミュレーションには通常、動的な意思決定を評価する機能がありません。
閉ループ シミュレーションの最近の取り組みは、フィードバック駆動型の環境を提供しますが、視覚センサーの入力を処理したり、現実世界のデータとは異なる出力を生成したりすることはできません。
これらの課題に対処するために、私たちは現実的な閉ループ シミュレーション フレームワークである DrivingSphere を提案します。
その中心的なアイデアは、4D 世界表現を構築し、現実の制御可能な運転シナリオを生成することです。
具体的には、当社のフレームワークには、静的な背景と動的オブジェクトを備えた占有形式で詳細な 4D ドライビングワールドを構築する動的環境構成モジュールと、このデータを高忠実度のマルチビュービデオに変換するビジュアルシーン合成モジュールが含まれています。
出力、空間的および時間的一貫性を確保します。
DrivingSphere は、動的で現実的なシミュレーション環境を提供することで、自動運転アルゴリズムの包括的なテストと検証を可能にし、最終的にはより信頼性の高い自動運転車の開発を推進します。
ベンチマークは一般に公開されます。

要約(オリジナル)

Autonomous driving evaluation requires simulation environments that closely replicate actual road conditions, including real-world sensory data and responsive feedback loops. However, many existing simulations need to predict waypoints along fixed routes on public datasets or synthetic photorealistic data, \ie, open-loop simulation usually lacks the ability to assess dynamic decision-making. While the recent efforts of closed-loop simulation offer feedback-driven environments, they cannot process visual sensor inputs or produce outputs that differ from real-world data. To address these challenges, we propose DrivingSphere, a realistic and closed-loop simulation framework. Its core idea is to build 4D world representation and generate real-life and controllable driving scenarios. In specific, our framework includes a Dynamic Environment Composition module that constructs a detailed 4D driving world with a format of occupancy equipping with static backgrounds and dynamic objects, and a Visual Scene Synthesis module that transforms this data into high-fidelity, multi-view video outputs, ensuring spatial and temporal consistency. By providing a dynamic and realistic simulation environment, DrivingSphere enables comprehensive testing and validation of autonomous driving algorithms, ultimately advancing the development of more reliable autonomous cars. The benchmark will be publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google