DriveEnv-NeRF: Exploration of A NeRF-Based Autonomous Driving Environment for Real-World Performance Validation

要約

この研究では、Neural Radiance Fields (NeRF) を活用して、対象となる現実世界のシーンにおける自動運転エージェントの有効性の検証と忠実な予測を可能にする DriveEnv-NeRF フレームワークを紹介します。
標準的なシミュレータベースのレンダリングでは、仮想シミュレーションと現実世界の条件との間の差異を表すシミュレーションと現実のギャップが原因で、現実世界のパフォーマンスを正確に反映できないことがよくあります。
このギャップを軽減するために、NeRF を使用して対象となる現実世界のシーンの高忠実度シミュレーション環境を構築するためのワークフローを提案します。
このアプローチでは、新しい視点からリアルな画像をレンダリングし、衝突をエミュレートするための 3D メッシュを構築できます。
シミュレートされた環境と実際の環境の両方で成功率を比較することでこれらの機能を検証すると、DriveEnv-NeRF を現実世界のパフォーマンス指標として使用する利点が実証されます。
さらに、DriveEnv-NeRF フレームワークは、さまざまな照明条件下での自動運転エージェントのトレーニング環境として機能します。
このアプローチにより、標準のシミュレーター レンダリング パイプラインを使用して完全にトレーニングされたエージェントと比較して、エージェントの堅牢性が強化され、ターゲットの実際のシーンに展開されたときのパフォーマンスの低下が軽減されます。

要約(オリジナル)

In this study, we introduce the DriveEnv-NeRF framework, which leverages Neural Radiance Fields (NeRF) to enable the validation and faithful forecasting of the efficacy of autonomous driving agents in a targeted real-world scene. Standard simulator-based rendering often fails to accurately reflect real-world performance due to the sim-to-real gap, which represents the disparity between virtual simulations and real-world conditions. To mitigate this gap, we propose a workflow for building a high-fidelity simulation environment of the targeted real-world scene using NeRF. This approach is capable of rendering realistic images from novel viewpoints and constructing 3D meshes for emulating collisions. The validation of these capabilities through the comparison of success rates in both simulated and real environments demonstrates the benefits of using DriveEnv-NeRF as a real-world performance indicator. Furthermore, the DriveEnv-NeRF framework can serve as a training environment for autonomous driving agents under various lighting conditions. This approach enhances the robustness of the agents and reduces performance degradation when deployed to the target real scene, compared to agents fully trained using the standard simulator rendering pipeline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google