Neural Parameterization for Dynamic Human Head Editing

要約

暗黙的な放射輝度関数は、3D シーンの写実的なビューを再構築およびレンダリングするための強力なシーン表現として登場しました。
ただし、これらの表現は編集性が低いという欠点があります。
一方、ポリゴン メッシュなどの明示的な表現は簡単に編集できますが、細かい顔の特徴、髪、歯、目など、動的な人間の頭の正確な詳細を再構築するのには適していません。
この作業では、暗黙的方法と明示的方法の両方の利点を提供するハイブリッド表現であるニューラル パラメーター化 (NeP) を提示します。
NeP は写真のようにリアルなレンダリングが可能であり、シーンのジオメトリと外観をきめ細かく編集できます。
まず、3D ジオメトリを 2D テクスチャ空間にパラメータ化することで、ジオメトリと外観を解きほぐします。
明示的な線形変形ブレンディング レイヤーを導入することで、ジオメトリの編集機能を有効にします。
変形は、ジオメトリを編集するために明示的かつ直感的に移動できる疎なキー ポイントのセットによって制御されます。
外観については、簡単に編集できる明示的なテクスチャ マップと暗黙的なビュー、および時間とビューの変動をモデル化するための時間依存の残差から構成されるハイブリッド 2D テクスチャを開発しました。
私たちの方法をいくつかの再構成および編集ベースラインと比較します。
結果は、NeP が高い編集性を維持しながら、ほぼ同じレベルのレンダリング精度を達成することを示しています。

要約(オリジナル)

Implicit radiance functions emerged as a powerful scene representation for reconstructing and rendering photo-realistic views of a 3D scene. These representations, however, suffer from poor editability. On the other hand, explicit representations such as polygonal meshes allow easy editing but are not as suitable for reconstructing accurate details in dynamic human heads, such as fine facial features, hair, teeth, and eyes. In this work, we present Neural Parameterization (NeP), a hybrid representation that provides the advantages of both implicit and explicit methods. NeP is capable of photo-realistic rendering while allowing fine-grained editing of the scene geometry and appearance. We first disentangle the geometry and appearance by parameterizing the 3D geometry into 2D texture space. We enable geometric editability by introducing an explicit linear deformation blending layer. The deformation is controlled by a set of sparse key points, which can be explicitly and intuitively displaced to edit the geometry. For appearance, we develop a hybrid 2D texture consisting of an explicit texture map for easy editing and implicit view and time-dependent residuals to model temporal and view variations. We compare our method to several reconstruction and editing baselines. The results show that the NeP achieves almost the same level of rendering accuracy while maintaining high editability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google