S-NeRF++: Autonomous Driving Simulation via Neural Reconstruction and Generation

要約

自律走行シミュレーションシステムは、自動運転データを強化し、複雑で稀な交通シナリオをシミュレートし、ナビゲーションの安全性を確保する上で重要な役割を果たしている。しかし、従来のシミュレーションシステムは、手作業によるモデリングや2D画像編集に頼ることが多く、広大なシーンへの拡張やリアルなシミュレーションデータの生成に苦労していた。本研究では、神経再構築に基づく革新的な自律走行シミュレーションシステムであるS-NeRF++を紹介する。S-NeRF++は、nuScenesやWaymoなどの広く利用されている自動運転データセットで訓練され、高いレンダリング品質で多数のリアルな街路シーンや前景オブジェクトを生成できるだけでなく、操作やシミュレーションにおいてかなりの柔軟性を提供することができる。具体的には、S-NeRF++は、シーンのパラメータ化とカメラのポーズ学習を改善した、大規模なシーンと移動する車両を合成するための強化されたニューラル放射輝度場です。このシステムは、ノイズの多い疎なLiDARデータを効果的に利用して学習を洗練し、深度の異常値に対処することで、高品質な再構成とノベルビューレンダリングを保証します。さらに、照明と影の効果を巧みに統合する高度な前景-背景フュージョンパイプラインを開発し、シミュレーションのリアリズムをさらに向上させました。S-NeRF++が提供する高品質なシミュレーションデータにより、知覚手法はいくつかの自律走行タスクにおいて性能向上を享受できることがわかり、提案するシミュレータの有効性がさらに実証された。

要約(オリジナル)

Autonomous driving simulation system plays a crucial role in enhancing self-driving data and simulating complex and rare traffic scenarios, ensuring navigation safety. However, traditional simulation systems, which often heavily rely on manual modeling and 2D image editing, struggled with scaling to extensive scenes and generating realistic simulation data. In this study, we present S-NeRF++, an innovative autonomous driving simulation system based on neural reconstruction. Trained on widely-used self-driving datasets such as nuScenes and Waymo, S-NeRF++ can generate a large number of realistic street scenes and foreground objects with high rendering quality as well as offering considerable flexibility in manipulation and simulation. Specifically, S-NeRF++ is an enhanced neural radiance field for synthesizing large-scale scenes and moving vehicles, with improved scene parameterization and camera pose learning. The system effectively utilizes noisy and sparse LiDAR data to refine training and address depth outliers, ensuring high-quality reconstruction and novel-view rendering. It also provides a diverse foreground asset bank by reconstructing and generating different foreground vehicles to support comprehensive scenario creation.Moreover, we have developed an advanced foreground-background fusion pipeline that skillfully integrates illumination and shadow effects, further enhancing the realism of our simulations. With the high-quality simulated data provided by our S-NeRF++, we found the perception methods enjoy performance boosts on several autonomous driving downstream tasks, further demonstrating our proposed simulator’s effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL