Direct Learning of Mesh and Appearance via 3D Gaussian Splatting

要約

明示的なジオメトリ情報を含む3Dシーンを正確に再構築することは、魅力的で挑戦的です。
ジオメトリ再構成は、神経放射輝度フィールドや3Dガウススプラッティング（3DG）などの微分可能な外観モデルを組み込むことで利益を得ることができます。
ただし、既存の方法は、間接的なジオメトリ学習と、形状と表面の外観を個別にモデル化するパラダイムによる効率の問題が発生します。
この作業では、明示的なジオメトリ表現、つまりメッシュを含む3DGを組み込んだ学習可能なシーンモデルを提案します。
私たちのモデルは、メッシュと外観をエンドツーエンドの方法で学習し、3Dガウスをメッシュ面に結合し、3DGの微分可能なレンダリングを実行して測光監督を取得します。
このモデルは、3DGとメッシュの両方の学習を監督するための効果的な情報経路を作成します。
実験結果は、学習されたシーンモデルが効率を改善し、品質を向上させるだけでなく、明示的なメッシュを介した操作を可能にすることを示しています。
さらに、私たちのモデルは、メッシュと外観の両方のエンドツーエンドの学習のおかげで、シーンの更新に適応する上でユニークな利点があります。

要約(オリジナル)

Accurately reconstructing a 3D scene including explicit geometry information is both attractive and challenging. Geometry reconstruction can benefit from incorporating differentiable appearance models, such as Neural Radiance Fields and 3D Gaussian Splatting (3DGS). However, existing methods encounter efficiency issues due to indirect geometry learning and the paradigm of separately modeling geometry and surface appearance. In this work, we propose a learnable scene model that incorporates 3DGS with an explicit geometry representation, namely a mesh. Our model learns the mesh and appearance in an end-to-end manner, where we bind 3D Gaussians to the mesh faces and perform differentiable rendering of 3DGS to obtain photometric supervision. The model creates an effective information pathway to supervise the learning of both 3DGS and mesh. Experimental results demonstrate that the learned scene model not only improves efficiency and rendering quality but also enables manipulation via the explicit mesh. In addition, our model has a unique advantage in adapting to scene updates, thanks to the end-to-end learning of both mesh and appearance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google