A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion

要約

タイトル：HoloLensの軌跡からのカメラポーズとStructure from Motionを比較したNeural Radiance Field（NeRF）3D解析

要約：
– Neural Radiance Fields（NeRF）は、カメラのポーズと関連する画像のセットを入力として使用してトレーニングされ、各位置の密度と色の値を推定します。
– 位置に依存する密度学習は、フォトグラメトリにとって特に興味深く、オブジェクト密度に基づいてNeRF座標系をクエリおよびフィルタリングすることによって3D再構築を可能にします。
– 通常、カメラポーズの計算にはStructure from Motionなどの従来の方法が使用されますが、HoloLensは必要な入力データを直接抽出するための興味深いインターフェースを提供します。
– NeRFを使用して、HoloLensデータをほぼ直接入力することで、高解像度の3D再構築のワークフローを提供します。
– 内部カメラポーズは、HoloLens軌跡を使用してサーバーアプリケーションを介して推定され、姿勢の微調整を適用することで外部カメラポーズと同等の品質になります。両方の場合、良好なNeRF収束と改善された3D再構築が可能です。
– NeRFの再構築は、完全性と詳細レベルの両面で従来のフォトグラメトリックな多視点ステレオに比べて優れています。

要約(オリジナル)

Neural Radiance Fields (NeRFs) are trained using a set of camera poses and associated images as input to estimate density and color values for each position. The position-dependent density learning is of particular interest for photogrammetry, enabling 3D reconstruction by querying and filtering the NeRF coordinate system based on the object density. While traditional methods like Structure from Motion are commonly used for camera pose calculation in pre-processing for NeRFs, the HoloLens offers an interesting interface for extracting the required input data directly. We present a workflow for high-resolution 3D reconstructions almost directly from HoloLens data using NeRFs. Thereby, different investigations are considered: Internal camera poses from the HoloLens trajectory via a server application, and external camera poses from Structure from Motion, both with an enhanced variant applied through pose refinement. Results show that the internal camera poses lead to NeRF convergence with a PSNR of 25\,dB with a simple rotation around the x-axis and enable a 3D reconstruction. Pose refinement enables comparable quality compared to external camera poses, resulting in improved training process with a PSNR of 27\,dB and a better 3D reconstruction. Overall, NeRF reconstructions outperform the conventional photogrammetric dense reconstruction using Multi-View Stereo in terms of completeness and level of detail.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI