Implicit Neural Head Synthesis via Controllable Local Deformation Fields

要約

タイトル：制御可能な局所変形場による暗黙的ニューラルヘッド合成

要約：

– 2Dビデオから制御可能な3Dヘッドアバターの高品質な再構成は、映画、ゲーム、テレプレゼンスの仮想人間アプリケーションにとって高度に望ましいものである。
– ニューラル暗黙的フィールドは、個人化された形状、表情、顔の部位（髪や口内など）を持つ3Dヘッドアバターをモデル化するための強力な表現を提供する。
– しかし、既存の方法は、微細な顔の特徴を持つ顔をモデル化せず、また、単眼のビデオから非対称な表情を外挿する局所制御を提供しない。
– さらに、ほとんどは3DMMパラメータにのみ条件付けられ、局所性が低く、局所的な特徴をグローバルなニューラルフィールドで解決する必要がある。
– これに対し、グローバルな変形場を局所的なものに分解するパーツベースの暗黙的形状モデルに基づく新しい表現方法を提案する。
– 私たちの新しい式は、3DMMベースのパラメータと代表的な顔のランドマークを介して局所的Semantic Rigのような制御を持つ複数の暗黙的変形場をモデル化する。
– さらに、各学習された変形場のスパース性を促進する局所制御損失とアテンションマスクメカニズムを提案する。
– 私たちの表現方法は、以前の暗黙的単眼アプローチよりも、特に口内、非対称な表情、そして顔の詳細において、より鮮明な局所制御可能な非線形変形をレンダリングする。

要約(オリジナル)

High-quality reconstruction of controllable 3D head avatars from 2D videos is highly desirable for virtual human applications in movies, games, and telepresence. Neural implicit fields provide a powerful representation to model 3D head avatars with personalized shape, expressions, and facial parts, e.g., hair and mouth interior, that go beyond the linear 3D morphable model (3DMM). However, existing methods do not model faces with fine-scale facial features, or local control of facial parts that extrapolate asymmetric expressions from monocular videos. Further, most condition only on 3DMM parameters with poor(er) locality, and resolve local features with a global neural field. We build on part-based implicit shape models that decompose a global deformation field into local ones. Our novel formulation models multiple implicit deformation fields with local semantic rig-like control via 3DMM-based parameters, and representative facial landmarks. Further, we propose a local control loss and attention mask mechanism that promote sparsity of each learned deformation field. Our formulation renders sharper locally controllable nonlinear deformations than previous implicit monocular approaches, especially mouth interior, asymmetric expressions, and facial details.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI