Are NeRFs ready for autonomous driving? Towards closing the real-to-simulation gap

要約

Neural Radiance Fields (NeRF) は、自動運転 (AD) 研究を推進するための有望なツールとして浮上しており、スケーラブルな閉ループ シミュレーションとデータ拡張機能を提供します。
ただし、シミュレーションで得られた結果を信頼するには、AD システムが実際のデータとレンダリングされたデータを同じ方法で認識することを確認する必要があります。
レンダリング手法のパフォーマンスは向上していますが、多くのシナリオは依然として忠実に再構築することが本質的に困難です。
この目的を達成するために、実際のデータとシミュレーションされたデータのギャップに対処するための新しい視点を提案します。
レンダリングの忠実度の向上だけに焦点を当てるのではなく、実際のデータのパフォーマンスを損なうことなく、NeRF アーティファクトに対する知覚モデルの堅牢性を高めるためのシンプルかつ効果的な方法を模索します。
さらに、最先端のニューラル レンダリング技術を使用して、AD 設定における実際のデータとシミュレートされたデータのギャップに関する初の大規模調査を実施します。
具体的には、実際のデータとシミュレートされたデータでオブジェクト検出器とオンライン マッピング モデルを評価し、さまざまな微調整戦略の効果を研究します。その結果は、シミュレートされたデータに対するモデルの堅牢性が顕著に向上し、場合によっては実世界のパフォーマンスも向上することを示しています。
最後に、実際のギャップとシミュレーションされたギャップと画像再構成メトリクスの間の相関関係を詳しく調べ、FID と LPIPS を強力な指標として特定します。
プロジェクトページについては、https://research.zenseact.com/publications/closed-real2sim-gap をご覧ください。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have emerged as promising tools for advancing autonomous driving (AD) research, offering scalable closed-loop simulation and data augmentation capabilities. However, to trust the results achieved in simulation, one needs to ensure that AD systems perceive real and rendered data in the same way. Although the performance of rendering methods is increasing, many scenarios will remain inherently challenging to reconstruct faithfully. To this end, we propose a novel perspective for addressing the real-to-simulated data gap. Rather than solely focusing on improving rendering fidelity, we explore simple yet effective methods to enhance perception model robustness to NeRF artifacts without compromising performance on real data. Moreover, we conduct the first large-scale investigation into the real-to-simulated data gap in an AD setting using a state-of-the-art neural rendering technique. Specifically, we evaluate object detectors and an online mapping model on real and simulated data, and study the effects of different fine-tuning strategies.Our results show notable improvements in model robustness to simulated data, even improving real-world performance in some cases. Last, we delve into the correlation between the real-to-simulated gap and image reconstruction metrics, identifying FID and LPIPS as strong indicators. See https://research.zenseact.com/publications/closing-real2sim-gap for our project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google