LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields

要約

LiDAR センサーの新しいビュー合成という新しいタスクを紹介します。
スタイル転送ニューラル ネットワークを備えた従来のモデルベースの LiDAR シミュレーターは、新しいビューのレンダリングに適用できますが、レンダラーは明示的な 3D 再構成に依存し、LiDAR の重要な属性を無視するゲーム エンジンを悪用するため、正確で現実的な LiDAR パターンを生成するには不十分です。
ポイント。
私たちは、私たちの知る限り、初の微分可能なエンドツーエンドの LiDAR レンダリング フレームワークである LiDAR-NeRF を定式化することで、この課題に対処します。このフレームワークは、神経放射フィールド (NeRF) を活用して、ジオメトリと 3D 属性の共同学習を促進します。
ポイント。
ただし、NeRF は、特に低テクスチャ領域でのローカル情報を無視して個々のピクセルの学習にのみ焦点を当てているため、単純に満足のいく結果を達成することはできず、その結果、ジオメトリが不十分になります。
この目的を達成するために、局所的な構造の詳細を保存する構造正則化手法を導入することで、この問題に対処する措置を講じました。
私たちのアプローチの有効性を評価するために、NeRF-MVL と呼ばれるオブジェクト中心のマルチビュー LiDAR データセットを確立します。
これには、複数の LiDAR センサーでキャプチャされた 360 度の視点から見た 9 つのカテゴリのオブジェクトの観測結果が含まれています。
シーンレベルの KITTI-360 データセットとオブジェクトレベルの NeRF-MVL に関する広範な実験により、LiDAR-NeRF がモデルベースのアルゴリズムを大幅に上回っていることがわかりました。

要約(オリジナル)

We introduce a new task, novel view synthesis for LiDAR sensors. While traditional model-based LiDAR simulators with style-transfer neural networks can be applied to render novel views, they fall short of producing accurate and realistic LiDAR patterns because the renderers rely on explicit 3D reconstruction and exploit game engines, that ignore important attributes of LiDAR points. We address this challenge by formulating, to the best of our knowledge, the first differentiable end-to-end LiDAR rendering framework, LiDAR-NeRF, leveraging a neural radiance field (NeRF) to facilitate the joint learning of geometry and the attributes of 3D points. However, simply employing NeRF cannot achieve satisfactory results, as it only focuses on learning individual pixels while ignoring local information, especially at low texture areas, resulting in poor geometry. To this end, we have taken steps to address this issue by introducing a structural regularization method to preserve local structural details. To evaluate the effectiveness of our approach, we establish an object-centric multi-view LiDAR dataset, dubbed NeRF-MVL. It contains observations of objects from 9 categories seen from 360-degree viewpoints captured with multiple LiDAR sensors. Our extensive experiments on the scene-level KITTI-360 dataset, and on our object-level NeRF-MVL show that our LiDAR-NeRF surpasses the model-based algorithms significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google