BlendFields: Few-Shot Example-Driven Facial Modeling

要約

人間の顔を忠実に可視化するためには、顔の形状と外観の粗いレベルと細かいレベルの両方の詳細を把握する必要があります。既存の手法は、データ駆動型であるため、研究コミュニティが一般に公開していない膨大なデータ群を必要とするか、粗い顔形状のみをモデル化するように設計されたメッシュ離散化および線形変形では、質感の細かい詳細を表現できない幾何学的な顔モデルに依存しているため、細かい詳細を捉えることができないかのいずれかである。我々は、伝統的なコンピュータグラフィックス技術から着想を得て、このギャップを埋める方法を紹介する。表情は、極端なポーズの疎な集合から外観をブレンドすることによってモデル化されます。このブレンドは、表情における局所的な体積変化を測定し、テスト時に同様の表情が行われるたびに、その表情を局所的に再現することによって行われる。本手法は、顔の滑らかな体積変形の上にきめ細かい効果を加えることで、未知の表情に一般化することを示し、顔以外への一般化も実証する。

要約(オリジナル)

Generating faithful visualizations of human faces requires capturing both coarse and fine-level details of the face geometry and appearance. Existing methods are either data-driven, requiring an extensive corpus of data not publicly accessible to the research community, or fail to capture fine details because they rely on geometric face models that cannot represent fine-grained details in texture with a mesh discretization and linear deformation designed to model only a coarse face geometry. We introduce a method that bridges this gap by drawing inspiration from traditional computer graphics techniques. Unseen expressions are modeled by blending appearance from a sparse set of extreme poses. This blending is performed by measuring local volumetric changes in those expressions and locally reproducing their appearance whenever a similar expression is performed at test time. We show that our method generalizes to unseen expressions, adding fine-grained effects on top of smooth volumetric deformations of a face, and demonstrate how it generalizes beyond faces.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL