A Large-Scale 3D Face Mesh Video Dataset via Neural Re-parameterized Optimization

要約

我々は、ニューラルの再パラメータ化最適化によるビデオ上の 3D 顔メッシュ疑似アノテーション手法である NeuFace を提案します。
3D 顔再構成手法は大きく進歩しましたが、実際の動的なビデオに対して信頼性の高い 3D 顔ラベルを生成することは依然として困難です。
NeuFace 最適化を使用して、NeuFace データセットと呼ばれる、大規模な顔ビデオ上のビュー/フレームごとの正確で一貫した顔メッシュに注釈を付けます。
私たちは、神経の再パラメータ化が、勾配解析を介して 3D メッシュ上で画像に位置合わせされた顔の詳細を再構築するのにどのように役立つかを調査します。
データセット内の 3D 顔の自然さと多様性を活用することで、既存の 3D 顔再構成モデ​​ルの再構成精度の向上や 3D 顔の動きの事前学習など、3D 顔関連のタスクに対するデータセットの有用性を実証します。
コードとデータセットは https://neuface-dataset.github.io で入手できます。

要約(オリジナル)

We propose NeuFace, a 3D face mesh pseudo annotation method on videos via neural re-parameterized optimization. Despite the huge progress in 3D face reconstruction methods, generating reliable 3D face labels for in-the-wild dynamic videos remains challenging. Using NeuFace optimization, we annotate the per-view/-frame accurate and consistent face meshes on large-scale face videos, called the NeuFace-dataset. We investigate how neural re-parameterization helps to reconstruct image-aligned facial details on 3D meshes via gradient analysis. By exploiting the naturalness and diversity of 3D faces in our dataset, we demonstrate the usefulness of our dataset for 3D face-related tasks: improving the reconstruction accuracy of an existing 3D face reconstruction model and learning 3D facial motion prior. Code and datasets will be available at https://neuface-dataset.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google