Domain Engineering for Applied Monocular Reconstruction of Parametric Faces

要約

最近のオンライン3Dアプリケーションやビデオゲームの多くは、人間の顔のパラメトリックモデルを利用して、リアルなアバターを作り出しています。しかし、パラメトリックモデルを使って人の顔を手動で再現するのは難しく、時間もかかる。そのため、機械学習による解決が望まれているが、それもまた困難である。本論文では、いわゆるFace-to-Parameters問題（略してF2P）に対する新しいアプローチを提案し、1つの画像からパラメトリックな顔を再構成することを目指す。提案手法は、合成データ、領域分割、領域適応を利用し、F2Pの解決における多面的な課題に対処する。オープンソース化されたコードベースは、我々の主要な観察結果を示し、定量的な評価のための手段を提供します。本アプローチは、産業用アプリケーションにおいて実用的であることが証明されており、精度を向上させ、より効率的なモデル学習を可能にしています。この手法は、他のタイプのパラメトリックモデルに拡張できる可能性を持っています。

要約(オリジナル)

Many modern online 3D applications and video games rely on parametric models of human faces for creating believable avatars. However, manually reproducing someone’s facial likeness with a parametric model is difficult and time-consuming. Machine Learning solution for that task is highly desirable but is also challenging. The paper proposes a novel approach to the so-called Face-to-Parameters problem (F2P for short), aiming to reconstruct a parametric face from a single image. The proposed method utilizes synthetic data, domain decomposition, and domain adaptation to address multifaceted challenges in solving the F2P. The open-sourced codebase illustrates our key observations and provides means for quantitative evaluation. The presented approach proves practical in an industrial application; it improves accuracy and allows for more efficient models training. The techniques have the potential to extend to other types of parametric models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL