LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields

要約

タイトル：LiDAR-NeRF：ニューラル輝度場による新しいLiDARビュー合成法

要約：
– LiDARセンサーにおける新しいビュー合成のタスクを紹介する。
– 従来のモデルベースのLiDARシミュレータは、スタイル転送ニューラルネットワークを用いて新しいビューをレンダリングすることができるが、LiDARパターンを正確かつリアルに生成するのには不十分である。
– これは、彼らがゲームエンジンに依存しており、それらが微分可能でないためである。
– 私たちは、知る限り、最初の微分可能なLiDARレンダラーを定式化することによってこれに対処し、NeRF（ニューラル輝度場）を利用したエンドツーエンドのフレームワーク、LiDAR-NeRFを提案することにしました。これにより、3Dポイントのジオメトリと属性を同時に学習することができます。
– 私たちは、オブジェクト中心のマルチビューLiDARデータセット、NeRF-MVLを確立し、私たちのアプローチの効果を評価しました。これは、複数のLiDARセンサーから360度のビューポイントで観測された9つのカテゴリのオブジェクトの観測を含みます。
– シーンレベルのKITTI-360データセット、およびオブジェクトレベルのNeRF-MVLでの私たちの広範な実験は、我々のLiDAR-NeRFがモデルベースのアルゴリズムを大幅に上回っていることを示しています。

要約(オリジナル)

We introduce a new task, novel view synthesis for LiDAR sensors. While traditional model-based LiDAR simulators with style-transfer neural networks can be applied to render novel views, they fall short in producing accurate and realistic LiDAR patterns, because the renderers they rely on exploit game engines, which are not differentiable. We address this by formulating, to the best of our knowledge, the first differentiable LiDAR renderer, and propose an end-to-end framework, LiDAR-NeRF, leveraging a neural radiance field (NeRF) to enable jointly learning the geometry and the attributes of 3D points. To evaluate the effectiveness of our approach, we establish an object-centric multi-view LiDAR dataset, dubbed NeRF-MVL. It contains observations of objects from 9 categories seen from 360-degree viewpoints captured with multiple LiDAR sensors. Our extensive experiments on the scene-level KITTI-360 dataset, and on our object-level NeRF-MVL show that our LiDAR- NeRF surpasses the model-based algorithms significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI