IM360: Textured Mesh Reconstruction for Large-scale Indoor Mapping with 360$^\circ$ Cameras

要約

屋内環境の3Dマッピングとレンダリング用の360 $^\ circ $カメラ用の新しい3D再構成パイプラインを紹介します。
伝統的な構造からの構造からの構造（SFM）メソッドは、大規模な屋内シーンでは、質感がなく反復的な領域が普及しているため、うまく機能しない場合があります。
これらの課題を克服するために、私たちのアプローチ（IM360）は、全方向性画像の広い視野を活用し、球状カメラモデルをSFMパイプラインのすべてのコアコンポーネントに統合します。
包括的な3D再構成ソリューションを開発するために、神経暗黙の表面再構成技術を統合して、まばらな入力データから高品質の表面を生成します。
さらに、メッシュベースのニューラルレンダリングアプローチを利用して、テクスチャマップを改良し、拡散コンポーネントと鏡面コンポーネントを組み合わせてビュー依存性を正確にキャプチャします。
MatterPort3DおよびStanford2D3Dデータセットの大規模な屋内シーンでパイプラインを評価します。
実際には、IM360は、SOTAを介したテクスチャメッシュの再構築に関して優れた性能を示しています。
カメラのローカリゼーションと登録の観点から、および高頻度の詳細をレンダリングするという点で、精度の改善が観察されます。

要約(オリジナル)

We present a novel 3D reconstruction pipeline for 360$^\circ$ cameras for 3D mapping and rendering of indoor environments. Traditional Structure-from-Motion (SfM) methods may not work well in large-scale indoor scenes due to the prevalence of textureless and repetitive regions. To overcome these challenges, our approach (IM360) leverages the wide field of view of omnidirectional images and integrates the spherical camera model into every core component of the SfM pipeline. In order to develop a comprehensive 3D reconstruction solution, we integrate a neural implicit surface reconstruction technique to generate high-quality surfaces from sparse input data. Additionally, we utilize a mesh-based neural rendering approach to refine texture maps and accurately capture view-dependent properties by combining diffuse and specular components. We evaluate our pipeline on large-scale indoor scenes from the Matterport3D and Stanford2D3D datasets. In practice, IM360 demonstrate superior performance in terms of textured mesh reconstruction over SOTA. We observe accuracy improvements in terms of camera localization and registration as well as rendering high frequency details.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google