MAtCha Gaussians: Atlas of Charts for High-Quality Geometry and Photorealism From Sparse Views

要約

我々は、明示的な高品質 3D サーフェス メッシュの回復と、疎なビュー サンプルからのフォトリアリスティックな新しいビューの合成を同時に実現する新しい外観モデルを提案します。
私たちの重要なアイデアは、基礎となるシーン ジオメトリ メッシュを 2D ガウス サーフェル (MAtCha ガウス) でレンダリングするチャートのアトラスとしてモデル化することです。
MAtCha は、既製の単眼深度推定器から高周波シーン表面の詳細を抽出し、ガウス サーフェル レンダリングを通じてそれを洗練します。
ガウス サーフェルはその場でチャートにアタッチされ、ニューラル ボリューム レンダリングのフォトリアリズムとメッシュ モデルの鮮明なジオメトリ、つまり 1 つのモデルで一見矛盾する 2 つの目標を満たします。
MAtCha の中核には、基本的なスケールの曖昧さに対処しながら、学習した単眼深度から抽出された表面の微細な詳細を保存する、新しい神経変形モデルと構造損失があります。
広範な実験検証の結果、MAtCha のサーフェス再構成とフォトリアリズムの最先端の品質は、上位候補と同等でありながら、入力ビューの数と計算時間が大幅に削減されることが実証されました。
私たちは、MAtCha が、フォトリアリズムに加えて明示的なジオメトリを必要とするビジョン、グラフィックス、ロボット工学などのあらゆるビジュアル アプリケーションの基礎ツールとして機能すると信じています。
私たちのプロジェクトページは次のとおりです: https://anttwo.github.io/matcha/

要約(オリジナル)

We present a novel appearance model that simultaneously realizes explicit high-quality 3D surface mesh recovery and photorealistic novel view synthesis from sparse view samples. Our key idea is to model the underlying scene geometry Mesh as an Atlas of Charts which we render with 2D Gaussian surfels (MAtCha Gaussians). MAtCha distills high-frequency scene surface details from an off-the-shelf monocular depth estimator and refines it through Gaussian surfel rendering. The Gaussian surfels are attached to the charts on the fly, satisfying photorealism of neural volumetric rendering and crisp geometry of a mesh model, i.e., two seemingly contradicting goals in a single model. At the core of MAtCha lies a novel neural deformation model and a structure loss that preserve the fine surface details distilled from learned monocular depths while addressing their fundamental scale ambiguities. Results of extensive experimental validation demonstrate MAtCha’s state-of-the-art quality of surface reconstruction and photorealism on-par with top contenders but with dramatic reduction in the number of input views and computational time. We believe MAtCha will serve as a foundational tool for any visual application in vision, graphics, and robotics that require explicit geometry in addition to photorealism. Our project page is the following: https://anttwo.github.io/matcha/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google