X2C: A Dataset Featuring Nuanced Facial Expressions for Realistic Humanoid Imitation

要約

現実的な表情を模倣する能力は、感情的な人間とロボットのコミュニケーションに従事するヒューマノイドロボットにとって不可欠です。
ただし、適切な注釈を備えた多様なヒューマノイド表情を含むデータセットの欠如は、現実的なヒューマノイド表現の模倣の進歩を妨げます。
これらの課題に対処するために、現実的なヒューマノイド模倣のための微妙な表情を特徴とするデータセットであるX2C（何でもコントロール）を紹介します。
X2Cを使用すると、1）100,000（画像、コントロール値）ペアで構成される高品質の高品質の大規模なデータセット。
各画像は、地下の真実の表現構成を表す30の制御値が注釈が付けられた、多様な表情を表示するヒューマノイドロボットを示しています。
2）X2CNET、微妙なヒューマノイド表現とX2Cからの根本的な制御値との対応を学習する新規のヒトからヒューマイドの表情模倣フレームワーク。
さまざまな人間のパフォーマーに野生の表情模倣を可能にし、模倣タスクのベースラインを提供し、データセットの潜在的な値を紹介します。
3）物理的なヒューマノイドロボットに関する現実世界のデモンストレーション。現実的なヒューマノイド表情模倣を進める能力を強調しています。
コードとデータ：https：//lipzh5.github.io/x2cnet/

要約(オリジナル)

The ability to imitate realistic facial expressions is essential for humanoid robots engaged in affective human-robot communication. However, the lack of datasets containing diverse humanoid facial expressions with proper annotations hinders progress in realistic humanoid facial expression imitation. To address these challenges, we introduce X2C (Anything to Control), a dataset featuring nuanced facial expressions for realistic humanoid imitation. With X2C, we contribute: 1) a high-quality, high-diversity, large-scale dataset comprising 100,000 (image, control value) pairs. Each image depicts a humanoid robot displaying a diverse range of facial expressions, annotated with 30 control values representing the ground-truth expression configuration; 2) X2CNet, a novel human-to-humanoid facial expression imitation framework that learns the correspondence between nuanced humanoid expressions and their underlying control values from X2C. It enables facial expression imitation in the wild for different human performers, providing a baseline for the imitation task, showcasing the potential value of our dataset; 3) real-world demonstrations on a physical humanoid robot, highlighting its capability to advance realistic humanoid facial expression imitation. Code and Data: https://lipzh5.github.io/X2CNet/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google