I M Avatar: Implicit Morphable Head Avatars from Videos

要約

従来の3次元モルファブル顔モデル（3DMM）は、表情のきめ細かな制御が可能であるが、幾何学的・外観的な詳細を容易に捉えることができない。また、ニューラルボリューム表現はフォトリアリズムに近いが、アニメーションが難しく、未知の表情にうまく汎化できない。この問題に取り組むため、我々は単眼動画から暗黙の頭部アバターを学習する新しい手法であるIMavatar (Implicit Morphable avatar)を提案する。IMavatarは、従来の3DMMが提供するきめ細かい制御機構にヒントを得て、表情やポーズに関連する変形を、学習されたブレンドシェープとスキニングフィールドによって表現する。これらの属性はポーズに依存せず、新しい表情やポーズパラメータを与えると、標準的なジオメトリやテクスチャフィールドを変形させるために使用することができる。我々は、各ピクセルの正準表面交差を見つけるために、レイマーチングと反復的なルート検索を採用する。また、動画からIMavatarの学習をエンド・ツー・エンドで行うことができる、新しい解析的勾配定式化も重要な貢献である。本手法は最先端の手法と比較して、より完全な表情空間をカバーし、幾何学性を向上させることを定量的、定性的に示している。

要約(オリジナル)

Traditional 3D morphable face models (3DMMs) provide fine-grained control over expression but cannot easily capture geometric and appearance details. Neural volumetric representations approach photorealism but are hard to animate and do not generalize well to unseen expressions. To tackle this problem, we propose IMavatar (Implicit Morphable avatar), a novel method for learning implicit head avatars from monocular videos. Inspired by the fine-grained control mechanisms afforded by conventional 3DMMs, we represent the expression- and pose- related deformations via learned blendshapes and skinning fields. These attributes are pose-independent and can be used to morph the canonical geometry and texture fields given novel expression and pose parameters. We employ ray marching and iterative root-finding to locate the canonical surface intersection for each pixel. A key contribution is our novel analytical gradient formulation that enables end-to-end training of IMavatars from videos. We show quantitatively and qualitatively that our method improves geometry and covers a more complete expression space compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL