Realistic One-shot Mesh-based Head Avatars

要約

リアルなワンショットメッシュベースの人間の頭のアバターを作成するためのシステム、略してROMEを紹介します。
1枚の写真を使用して、モデルは人物固有のヘッドメッシュと関連するニューラルテクスチャを推定します。これにより、ローカルの測光と幾何学的な詳細の両方がエンコードされます。
結果として得られるアバターは装備されており、ニューラルネットワークを使用してレンダリングできます。ニューラルネットワークは、野生のビデオのデータセットでメッシュおよびテクスチャ推定器と一緒にトレーニングされます。
実験では、特にクロスパーソンの再現に関して、私たちのシステムが頭の形状の回復とレンダリングの品質の両方の点で競争力のあるパフォーマンスを発揮することを観察しました。
結果を見るhttps://samsunglabs.github.io/rome/

要約(オリジナル)

We present a system for realistic one-shot mesh-based human head avatars creation, ROME for short. Using a single photograph, our model estimates a person-specific head mesh and the associated neural texture, which encodes both local photometric and geometric details. The resulting avatars are rigged and can be rendered using a neural network, which is trained alongside the mesh and texture estimators on a dataset of in-the-wild videos. In the experiments, we observe that our system performs competitively both in terms of head geometry recovery and the quality of renders, especially for the cross-person reenactment. See results https://samsunglabs.github.io/rome/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google