Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile Mapping

要約

【タイトル】HoloLensとInstant-NeRFを組み合わせた高度なリアルタイム3Dモバイルマッピング

【要約】

– RGBカメラ画像に基づく高速な3D再構築の現代的な方法への大幅な前進を示している。
– Microsoft HoloLens 2をマルチセンサープラットフォームとして利用し、RGBカメラと慣性計測ユニットを含み、SLAMベースのカメラポーズ決定に使用する。
– HoloLensから収集したデータをリアルタイムでニューラル・レディアンス・フィールド（NeRF）としてトレーニングし、3D再構築を高速化する。
– HoloLensはWifi経由で高性能なPCに接続されており、トレーニングと3D再構築を担当する。
– データストリームが終了した後、トレーニングが停止され、3D再構築が開始される。これにより、シーンの点群が抽出される。
– 専用の推論アルゴリズムにより、1秒以内に500万のシーンポイントを抽出できる。
– 点群には各ポイントごとの放射度も含まれており、NeRFのグリッドポイントサンプリングよりも注文の多い性能が得られる。
– モバイルマッピングセットアップで完全なリアルタイム3D再構築方法として考えられる。

要約(オリジナル)

This work represents a large step into modern ways of fast 3D reconstruction based on RGB camera images. Utilizing a Microsoft HoloLens 2 as a multisensor platform that includes an RGB camera and an inertial measurement unit for SLAM-based camera-pose determination, we train a Neural Radiance Field (NeRF) as a neural scene representation in real-time with the acquired data from the HoloLens. The HoloLens is connected via Wifi to a high-performance PC that is responsible for the training and 3D reconstruction. After the data stream ends, the training is stopped and the 3D reconstruction is initiated, which extracts a point cloud of the scene. With our specialized inference algorithm, five million scene points can be extracted within 1 second. In addition, the point cloud also includes radiometry per point. Our method of 3D reconstruction outperforms grid point sampling with NeRFs by multiple orders of magnitude and can be regarded as a complete real-time 3D reconstruction method in a mobile mapping setup.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI