Multiface: A Dataset for Neural Face Rendering

要約

人間の顔のフォトリアリスティックなアバターは近年大きな進歩を遂げていますが、高密度のマルチビュー カメラによるキャプチャと、キャプチャされた被写体の豊かな表情の両方をカバーする公的に利用可能な高品質のデータセットが不足しているため、この分野の研究は制限されています。
。
この研究では、ニューラル フェイス レンダリングのために Reality Labs Research の 13 人のアイデンティティから収集された新しいマルチビューの高解像度人間の顔データセットである Multiface を紹介します。
フェイシャルパフォーマンスの高解像度同期ビデオを撮影するための大型マルチカメラ装置 Mugsy を紹介します。
Multiface の目標は、学術コミュニティにおける高品質のデータへのアクセスのギャップを埋め、VR テレプレゼンスの研究を可能にすることです。
データセットのリリースに合わせて、新しい視点と表現のモデル補間能力に対するさまざまなモデル アーキテクチャの影響に関するアブレーション研究を実施します。
ベースラインとして機能する条件付き VAE モデルを使用すると、空間バイアス、テクスチャ ワープ フィールド、および残留接続を追加すると、新しいビュー合成のパフォーマンスが向上することがわかりました。
私たちのコードとデータは、https://github.com/facebookresearch/multiface で入手できます。

要約(オリジナル)

Photorealistic avatars of human faces have come a long way in recent years, yet research along this area is limited by a lack of publicly available, high-quality datasets covering both, dense multi-view camera captures, and rich facial expressions of the captured subjects. In this work, we present Multiface, a new multi-view, high-resolution human face dataset collected from 13 identities at Reality Labs Research for neural face rendering. We introduce Mugsy, a large scale multi-camera apparatus to capture high-resolution synchronized videos of a facial performance. The goal of Multiface is to close the gap in accessibility to high quality data in the academic community and to enable research in VR telepresence. Along with the release of the dataset, we conduct ablation studies on the influence of different model architectures toward the model’s interpolation capacity of novel viewpoint and expressions. With a conditional VAE model serving as our baseline, we found that adding spatial bias, texture warp field, and residual connections improves performance on novel view synthesis. Our code and data is available at: https://github.com/facebookresearch/multiface

arxiv情報

提供元, 利用サービス

arxiv.jp, Google