Generalizable Human Gaussians for Sparse View Synthesis

要約

ニューラル レンダリングの最近の進歩により、NeRF やガウス スプラッティングなどの先駆的な手法が生み出され、AR/VR、ゲーム、コンテンツ作成などのさまざまなドメインにわたるビュー レンダリングに革命をもたらしました。
これらの方法は、{\em トレーニング データ内で} の補間には優れていますが、非常にまばらなビューから新しいシーンやオブジェクトに一般化するという課題は依然として残ります。
具体的には、まばらなビューから 3D 人間をモデリングすることは、人間のジオメトリに固有の複雑さがあるため、非常に困難なハードルとなり、その結果、ジオメトリとテクスチャの再構成が不正確になります。
この課題に取り組むために、この論文では、ガウス スプラッティングの最近の進歩を活用し、一般化可能な人間のガウスを学習する新しい方法を紹介します。これにより、フィードフォワード方式で、限られたまばらなビューのセットから新しい人間の被写体を写実的かつ正確にビュー レンダリングできるようになります。
私たちのアプローチの極めて重要な革新には、3D ガウス パラメーターの学習を、人間のテンプレートの 2D UV 空間で定義された回帰プロセスに再定式化することが含まれます。これにより、事前の強力なジオメトリと 2D 畳み込みの利点を活用できるようになります。
さらに、オフセットの詳細を効果的に表現するために、マルチ足場が提案されています。
私たちの方法は、データセット内の一般化設定とデータセット間の一般化設定の両方で最近の方法よりも優れています。

要約(オリジナル)

Recent progress in neural rendering has brought forth pioneering methods, such as NeRF and Gaussian Splatting, which revolutionize view rendering across various domains like AR/VR, gaming, and content creation. While these methods excel at interpolating {\em within the training data}, the challenge of generalizing to new scenes and objects from very sparse views persists. Specifically, modeling 3D humans from sparse views presents formidable hurdles due to the inherent complexity of human geometry, resulting in inaccurate reconstructions of geometry and textures. To tackle this challenge, this paper leverages recent advancements in Gaussian Splatting and introduces a new method to learn generalizable human Gaussians that allows photorealistic and accurate view-rendering of a new human subject from a limited set of sparse views in a feed-forward manner. A pivotal innovation of our approach involves reformulating the learning of 3D Gaussian parameters into a regression process defined on the 2D UV space of a human template, which allows leveraging the strong geometry prior and the advantages of 2D convolutions. In addition, a multi-scaffold is proposed to effectively represent the offset details. Our method outperforms recent methods on both within-dataset generalization as well as cross-dataset generalization settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google