Neural Parameterization for Dynamic Human Head Editing

要約

陰影輝度関数は、3Dシーンのフォトリアリスティックなビューを再構成してレンダリングするための強力なシーン表現として登場した。しかし、これらの表現は、編集性に劣るという問題がある。一方、ポリゴンメッシュのような明示的な表現は、編集が容易であるが、顔の細かい特徴、髪、歯、目など、動的な人間の頭部の正確なディテールを再現するのには適していない。本研究では、陰的手法と陽的手法の両方の利点を備えたハイブリッド表現であるNeural Parameterization（NeP）を提案します。NePはフォトリアリスティックなレンダリングを可能にする一方で、シーンのジオメトリとアピアランスのきめ細かな編集を可能にする。まず、3次元形状を2次元テクスチャ空間にパラメータ化することで、形状と外観を分離する。そして、明示的な線形変形ブレンディングレイヤーを導入することで、ジオメトリの編集を可能にする。変形は疎なキーポイントの集合によって制御され、このキーポイントは幾何学的編集のために明示的かつ直観的に変位させることができる。外観については、編集を容易にするための明示的なテクスチャマップと、時間的・視点的変化をモデル化するための暗黙的な視点・時間依存残差からなるハイブリッド2Dテクスチャを開発する。我々は、本手法をいくつかの再構成・編集ベースラインと比較した。その結果、NePは高い編集性を維持しつつ、ほぼ同レベルのレンダリング精度を達成することがわかった。

要約(オリジナル)

Implicit radiance functions emerged as a powerful scene representation for reconstructing and rendering photo-realistic views of a 3D scene. These representations, however, suffer from poor editability. On the other hand, explicit representations such as polygonal meshes allow easy editing but are not as suitable for reconstructing accurate details in dynamic human heads, such as fine facial features, hair, teeth, and eyes. In this work, we present Neural Parameterization (NeP), a hybrid representation that provides the advantages of both implicit and explicit methods. NeP is capable of photo-realistic rendering while allowing fine-grained editing of the scene geometry and appearance. We first disentangle the geometry and appearance by parameterizing the 3D geometry into 2D texture space. We enable geometric editability by introducing an explicit linear deformation blending layer. The deformation is controlled by a set of sparse key points, which can be explicitly and intuitively displaced to edit the geometry. For appearance, we develop a hybrid 2D texture consisting of an explicit texture map for easy editing and implicit view and time-dependent residuals to model temporal and view variations. We compare our method to several reconstruction and editing baselines. The results show that the NeP achieves almost the same level of rendering accuracy while maintaining high editability.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL