FitMe: Deep Photorealistic 3D Morphable Model Avatars

要約

このペーパーでは、単一または複数の画像から高忠実度のレンダリング可能な人間のアバターを取得するために使用できる、顔の反射率モデルと微分可能なレンダリング最適化パイプラインである FitMe を紹介します。
このモデルは、拡散反射率と鏡面反射率の観点から顔の外観をキャプチャするマルチモーダル スタイル ベースのジェネレーターと、PCA ベースの形状モデルで構成されます。
最適化パイプラインで使用できる高速微分可能なレンダリング プロセスを採用すると同時に、写真のようにリアルな顔のシェーディングも実現します。
当社の最適化プロセスでは、スタイルベースの潜在表現と形状モデルの表現力を活用することで、顔の反射率と形状の両方を詳細に正確にキャプチャします。
FitMe は、単一の「自然な」顔画像で最先端の反射率の取得とアイデンティティの保存を実現しますが、同じアイデンティティに関する制約のない複数の顔画像が与えられた場合には、印象的なスキャンのような結果を生成します。
最近の暗黙的なアバターの再構築とは対照的に、FitMe はわずか 1 分で、エンドユーザー アプリケーションで使用できる再ライト可能なメッシュとテクスチャベースのアバターを生成します。

要約(オリジナル)

In this paper, we introduce FitMe, a facial reflectance model and a differentiable rendering optimization pipeline, that can be used to acquire high-fidelity renderable human avatars from single or multiple images. The model consists of a multi-modal style-based generator, that captures facial appearance in terms of diffuse and specular reflectance, and a PCA-based shape model. We employ a fast differentiable rendering process that can be used in an optimization pipeline, while also achieving photorealistic facial shading. Our optimization process accurately captures both the facial reflectance and shape in high-detail, by exploiting the expressivity of the style-based latent representation and of our shape model. FitMe achieves state-of-the-art reflectance acquisition and identity preservation on single ‘in-the-wild’ facial images, while it produces impressive scan-like results, when given multiple unconstrained facial images pertaining to the same identity. In contrast with recent implicit avatar reconstructions, FitMe requires only one minute and produces relightable mesh and texture-based avatars, that can be used by end-user applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google