PlatoNeRF: 3D Reconstruction in Plato’s Cave via Single-View Two-Bounce Lidar

要約

単一ビューからの 3D 再構成は、単眼の手がかりによるあいまいさと、遮蔽された領域に関する情報の欠如のため、困難です。
Neural Radiance Field (NeRF) はビュー合成や 3D 再構成によく使われていますが、通常はマルチビュー画像に依存しています。
NeRF を使用した単一ビュー 3D 再構成の既存の方法は、物理的に正確ではない可能性があるオクルージョンされた領域の幻覚ビューの事前データ、または環境光や低アルベドの背景では検出が困難な RGB カメラで観察された影のいずれかに依存しています。
私たちは、これらの制限を克服するために、単一光子アバランシェ ダイオードによって捕捉された飛行時間データを使用することを提案します。
私たちの方法では、監視に LIDAR 過渡データを使用して、NeRF で 2 バウンス光路をモデル化します。
NeRF と LIDAR で測定された 2 回反射光の両方の利点を活用することで、事前データを使用したり、制御された周囲照明やシーン アルベドに依存したりすることなく、可視ジオメトリとオクルージョンされたジオメトリを再構築できることを実証します。
さらに、センサーの空間的および時間的解像度に関する実際的な制約の下で改善された一般化を実証します。
単一光子ライダーが携帯電話、タブレット、ヘッドセットなどの消費者向けデバイスに普及するにつれて、私たちの方法は有望な方向性であると信じています。

要約(オリジナル)

3D reconstruction from a single-view is challenging because of the ambiguity from monocular cues and lack of information about occluded regions. Neural radiance fields (NeRF), while popular for view synthesis and 3D reconstruction, are typically reliant on multi-view images. Existing methods for single-view 3D reconstruction with NeRF rely on either data priors to hallucinate views of occluded regions, which may not be physically accurate, or shadows observed by RGB cameras, which are difficult to detect in ambient light and low albedo backgrounds. We propose using time-of-flight data captured by a single-photon avalanche diode to overcome these limitations. Our method models two-bounce optical paths with NeRF, using lidar transient data for supervision. By leveraging the advantages of both NeRF and two-bounce light measured by lidar, we demonstrate that we can reconstruct visible and occluded geometry without data priors or reliance on controlled ambient lighting or scene albedo. In addition, we demonstrate improved generalization under practical constraints on sensor spatial- and temporal-resolution. We believe our method is a promising direction as single-photon lidars become ubiquitous on consumer devices, such as phones, tablets, and headsets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google