MapNeRF: Incorporating Map Priors into Neural Radiance Fields for Driving View Simulation

要約

カメラセンサーのシミュレーションは自動運転において重要なタスクです。
ニューラル放射輝度フィールドは、運転シミュレーションでフォトリアリスティックなビューを合成する点では優れていますが、外挿ビューの生成には依然として失敗しています。
この論文では、地図事前分布を神経放射フィールドに組み込んで、意味論的な道路の一貫性を備えた軌道外の運転ビューを合成することを提案しています。
重要な洞察は、不確実性のある放射フィールドのトレーニングをガイドするための事前情報としてマップ情報を利用できるということです。
具体的には、粗い地表を不確実な情報として利用し、未知のカメラポーズによる不確実性のある密度場とワープ深度を監視し、多視点の一貫性を確保します。
実験結果は、私たちのアプローチが車両カメラシミュレーションの偏ったビューで意味的な一貫性を生み出すことができることを示しています。

要約(オリジナル)

Simulating camera sensors is a crucial task in autonomous driving. Although neural radiance fields are exceptional at synthesizing photorealistic views in driving simulations, they still fail in generating extrapolated views. This paper proposes to incorporate map priors into neural radiance fields to synthesize out-of-trajectory driving views with semantic road consistency. The key insight is that map information can be utilized as a prior to guide the training of the radiance fields with uncertainty. Specifically, we utilize the coarse ground surface as uncertain information to supervise the density field and warp depth with uncertainty from unknown camera poses to ensure multi-view consistency. Experimental results demonstrate that our approach can produce semantic consistency in deviated views for vehicle camera simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google