RealEngine: Simulating Autonomous Driving in Realistic Context

要約

運転シミュレーションは、制御された評価環境を提供することにより、信頼できる運転剤の開発において重要な役割を果たします。
意味のある評価を可能にするために、高品質の運転シミュレーターはいくつかの重要な要件を満たす必要があります。観測的不一致を最小限に抑えるための現実的なシーンレンダリングを備えたマルチモーダルセンシング機能（カメラやライダーなど）。
フリーフォームの軌道行動をサポートするための閉ループ評価。
徹底的な評価のための非常に多様なトラフィックシナリオ。
相互作用のダイナミクスをキャプチャするためのマルチエージェント協力。
手頃な価格とスケーラビリティを確保するための高い計算効率。
ただし、既存のシミュレーターとベンチマークは、これらの基本的な基準を包括的に満たすことができません。
このギャップを埋めるために、このペーパーでは、3Dシーンの再構築と新しいビュー合成技術を総合的に統合して、運転コンテキストで現実的で柔軟な閉ループシミュレーションを実現する新しい運転シミュレーションフレームワークであるRealEngineを紹介します。
現実世界のマルチモーダルセンサーデータを活用することにより、RealEngineはバックグラウンドシーンと前景交通参加者を個別に再構築し、柔軟なシーン構成を通じて非常に多様で現実的なトラフィックシナリオを可能にします。
シーンの再構築とビュー合成のこの相乗的な融合により、複数のセンサーのモダリティにわたってフォトリアリックなレンダリングが可能になり、知覚的な忠実度と幾何学的精度の両方が確保されます。
この環境に基づいて、RealEngineは、非反応性シミュレーション、安全テスト、およびマルチエージェント相互作用の3つの重要な運転シミュレーションカテゴリをサポートし、運転エージェントの実際のパフォーマンスを評価するための信頼できる包括的なベンチマークを集合的に形成します。

要約(オリジナル)

Driving simulation plays a crucial role in developing reliable driving agents by providing controlled, evaluative environments. To enable meaningful assessments, a high-quality driving simulator must satisfy several key requirements: multi-modal sensing capabilities (e.g., camera and LiDAR) with realistic scene rendering to minimize observational discrepancies; closed-loop evaluation to support free-form trajectory behaviors; highly diverse traffic scenarios for thorough evaluation; multi-agent cooperation to capture interaction dynamics; and high computational efficiency to ensure affordability and scalability. However, existing simulators and benchmarks fail to comprehensively meet these fundamental criteria. To bridge this gap, this paper introduces RealEngine, a novel driving simulation framework that holistically integrates 3D scene reconstruction and novel view synthesis techniques to achieve realistic and flexible closed-loop simulation in the driving context. By leveraging real-world multi-modal sensor data, RealEngine reconstructs background scenes and foreground traffic participants separately, allowing for highly diverse and realistic traffic scenarios through flexible scene composition. This synergistic fusion of scene reconstruction and view synthesis enables photorealistic rendering across multiple sensor modalities, ensuring both perceptual fidelity and geometric accuracy. Building upon this environment, RealEngine supports three essential driving simulation categories: non-reactive simulation, safety testing, and multi-agent interaction, collectively forming a reliable and comprehensive benchmark for evaluating the real-world performance of driving agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google