要約
大規模なデータセットは、顔の生成/編集の最近の成功に不可欠な役割を果たしており、新しい研究分野の進歩を大幅に促進しています。
ただし、学術コミュニティには、顔に関連するビデオの研究に不可欠な、さまざまな顔属性の注釈が付いたビデオデータセットがまだありません。
この作業では、High-Quality Celebrity Video Dataset（CelebV-HQ）という名前の、豊富な顔属性注釈を備えた大規模で高品質で多様なビデオデータセットを提案します。
CelebV-HQには、少なくとも512×512の解像度の35,666個のビデオクリップが含まれており、15,653個のIDが含まれています。
すべてのクリップには、外観、アクション、感情をカバーする83の顔属性が手動でラベル付けされています。
CelebV-HQの多様性と時間的一貫性を実証するために、年齢、民族性、明るさの安定性、動きの滑らかさ、頭のポーズの多様性、およびデータ品質の観点から包括的な分析を行います。
さらに、その汎用性と可能性は、2つの代表的なタスク、つまり無条件のビデオ生成とビデオ顔属性編集で検証されます。
さらに、CelebV-HQの将来の可能性、および関連する研究の方向性にもたらす新しい機会と課題を想定しています。
データ、コード、およびモデルは公開されています。
プロジェクトページ：https：//celebv-hq.github.io。
要約(オリジナル)
Large-scale datasets have played indispensable roles in the recent success of face generation/editing and significantly facilitated the advances of emerging research fields. However, the academic community still lacks a video dataset with diverse facial attribute annotations, which is crucial for the research on face-related videos. In this work, we propose a large-scale, high-quality, and diverse video dataset with rich facial attribute annotations, named the High-Quality Celebrity Video Dataset (CelebV-HQ). CelebV-HQ contains 35,666 video clips with the resolution of 512×512 at least, involving 15,653 identities. All clips are labeled manually with 83 facial attributes, covering appearance, action, and emotion. We conduct a comprehensive analysis in terms of age, ethnicity, brightness stability, motion smoothness, head pose diversity, and data quality to demonstrate the diversity and temporal coherence of CelebV-HQ. Besides, its versatility and potential are validated on two representative tasks, i.e., unconditional video generation and video facial attribute editing. Furthermore, we envision the future potential of CelebV-HQ, as well as the new opportunities and challenges it would bring to related research directions. Data, code, and models are publicly available. Project page: https://celebv-hq.github.io.
arxiv情報
| 著者 | Hao Zhu,Wayne Wu,Wentao Zhu,Liming Jiang,Siwei Tang,Li Zhang,Ziwei Liu,Chen Change Loy |
| 発行日 | 2022-07-25 17:57:07+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google