HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2

要約

写真測量、コンピュータビジョン、コンピュータグラフィックスの分野では、ニューラル3Dシーン再構築のタスクが様々なテクニックの探求につながっている。その中でも、3Dガウススプラッティングは、3Dガウスを用いてシーンを明示的に表現するため、3D点群抽出や表面再構成のようなタスクに魅力的である。その可能性に動機づけられ、我々は3Dシーン再構築の領域に取り組み、Microsoft HoloLens 2の機能を活用してインスタント3Dガウススプラッティングを行うことを目指す。HoloGSは、HoloLensセンサーデータを利用した新しいワークフローであり、必要な入力データ（画像、カメラポーズ、深度センシングからの点群）に即座にアクセスすることで、Structure from Motionのような前処理ステップの必要性を回避します。我々は、ピーク信号対雑音比によって評価される学習プロセスとレンダリング品質、および面取り距離によって測定されるガウス中心から高密度化された点群の幾何学的3D精度を含む包括的な調査を提供する。我々は、2つのセルフキャプチャシーンで我々のアプローチを評価する：文化遺産の彫像の屋外シーンと、微細構造の植物の屋内シーンである。我々の結果は、RGB画像、対応するカメラポーズ、ガウシアンを初期化するための深度センシングベースの点群を含むHoloLensデータが、3Dガウススプラッティングの入力として適していることを示している。

要約(オリジナル)

In the fields of photogrammetry, computer vision and computer graphics, the task of neural 3D scene reconstruction has led to the exploration of various techniques. Among these, 3D Gaussian Splatting stands out for its explicit representation of scenes using 3D Gaussians, making it appealing for tasks like 3D point cloud extraction and surface reconstruction. Motivated by its potential, we address the domain of 3D scene reconstruction, aiming to leverage the capabilities of the Microsoft HoloLens 2 for instant 3D Gaussian Splatting. We present HoloGS, a novel workflow utilizing HoloLens sensor data, which bypasses the need for pre-processing steps like Structure from Motion by instantly accessing the required input data i.e. the images, camera poses and the point cloud from depth sensing. We provide comprehensive investigations, including the training process and the rendering quality, assessed through the Peak Signal-to-Noise Ratio, and the geometric 3D accuracy of the densified point cloud from Gaussian centers, measured by Chamfer Distance. We evaluate our approach on two self-captured scenes: An outdoor scene of a cultural heritage statue and an indoor scene of a fine-structured plant. Our results show that the HoloLens data, including RGB images, corresponding camera poses, and depth sensing based point clouds to initialize the Gaussians, are suitable as input for 3D Gaussian Splatting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL