VGGHeads: A Large-Scale Synthetic Dataset for 3D Human Heads

要約

人間の頭部の検出、キーポイントの推定、および 3D 頭部モデルのフィッティングは、多くのアプリケーションで重要なタスクです。
ただし、従来の実世界のデータセットはバイアス、プライバシー、倫理的懸念に悩まされることが多く、実験室環境で記録されているため、トレーニング済みモデルを一般化することが困難です。
ここでは、人間の頭部の検出と 3D メッシュ推定のための拡散モデルを使用して生成された大規模な合成データセットである VGGHeads を紹介します。
私たちのデータセットは 100 万枚を超える高解像度画像で構成されており、それぞれに詳細な 3D 頭部メッシュ、顔のランドマーク、境界ボックスの注釈が付けられています。
このデータセットを使用して、単一のステップで単一の画像から頭部の検出と頭部メッシュの再構築を同時に実行できる新しいモデル アーキテクチャを導入します。
広範な実験評価を通じて、合成データでトレーニングされたモデルが実際の画像で優れたパフォーマンスを達成できることを実証しました。
さらに、私たちのデータセットは多用途であるため、幅広いタスクに適用でき、人間の頭の一般的かつ包括的な表現を提供します。
さらに、合成データ生成パイプラインに関する詳細情報を提供し、他のタスクやドメインで再利用できるようにします。

要約(オリジナル)

Human head detection, keypoint estimation, and 3D head model fitting are important tasks with many applications. However, traditional real-world datasets often suffer from bias, privacy, and ethical concerns, and they have been recorded in laboratory environments, which makes it difficult for trained models to generalize. Here, we introduce VGGHeads — a large scale synthetic dataset generated with diffusion models for human head detection and 3D mesh estimation. Our dataset comprises over 1 million high-resolution images, each annotated with detailed 3D head meshes, facial landmarks, and bounding boxes. Using this dataset we introduce a new model architecture capable of simultaneous heads detection and head meshes reconstruction from a single image in a single step. Through extensive experimental evaluations, we demonstrate that models trained on our synthetic data achieve strong performance on real images. Furthermore, the versatility of our dataset makes it applicable across a broad spectrum of tasks, offering a general and comprehensive representation of human heads. Additionally, we provide detailed information about the synthetic data generation pipeline, enabling it to be re-used for other tasks and domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google