LatentAvatar: Learning Latent Expression Code for Expressive Neural Head Avatar

要約

【タイトル】LatentAvatar：表現力あるニューラルヘッドアバターのための潜在的表現コードの学習

【要約】

– ニューラルヘッドアバターの可動性に関する既存のアプローチは、顔テンプレートに基づいたものまたはテンプレートの表情係数を駆動信号として使用している。
– これらの方法は、テンプレートの表現力と追跡精度によって強く制限されている。
– LatentAvatarは、潜在表現コードによって駆動される表現力のあるニューラルヘッドアバターで、テンプレートを使用せず、エクスプレッションや追跡の問題を解決する。
– 潜在的ヘッドNeRFを利用して、モノクロ肖像ビデオから個人特定の潜在表現コードを学習し、異なる主体の共有潜在表現コードを学習するためのY型ネットワークを設計した。
– NeRFで光度学的再構築目標を最適化することにより、潜在表現コードは3D感覚を持つように学習され、高周波の詳細な表情を正確に捉えることができる。
– 共有および個人別の設定で学習された潜在表現コード間のマッピングを学習することにより、LatentAvatarは異なる主体間で表情の再現を行うことができる。
– 実験結果は、LatentAvatarが前例のない解決策を定量的および定性的に比較して、難しい表情や歯や眼球の微妙な動きを正確に捉えることができることを示している。

要約(オリジナル)

Existing approaches to animatable NeRF-based head avatars are either built upon face templates or use the expression coefficients of templates as the driving signal. Despite the promising progress, their performances are heavily bound by the expression power and the tracking accuracy of the templates. In this work, we present LatentAvatar, an expressive neural head avatar driven by latent expression codes. Such latent expression codes are learned in an end-to-end and self-supervised manner without templates, enabling our method to get rid of expression and tracking issues. To achieve this, we leverage a latent head NeRF to learn the person-specific latent expression codes from a monocular portrait video, and further design a Y-shaped network to learn the shared latent expression codes of different subjects for cross-identity reenactment. By optimizing the photometric reconstruction objectives in NeRF, the latent expression codes are learned to be 3D-aware while faithfully capturing the high-frequency detailed expressions. Moreover, by learning a mapping between the latent expression code learned in shared and person-specific settings, LatentAvatar is able to perform expressive reenactment between different subjects. Experimental results show that our LatentAvatar is able to capture challenging expressions and the subtle movement of teeth and even eyeballs, which outperforms previous state-of-the-art solutions in both quantitative and qualitative comparisons. Project page: https://www.liuyebin.com/latentavatar.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI