要約
本稿では、大規模な 3D 表現力のある全身動作データセットである Motion-X を紹介します。
既存のモーション データセットには主に身体のみのポーズが含まれており、顔の表情、手のジェスチャー、および詳細なポーズの説明が欠如しています。
さらに、これらは主に限られた実験室のシーンから収集され、テキストによる説明が手動でラベル付けされているため、スケーラビリティが大幅に制限されます。
これらの制限を克服するために、私たちは全身モーションとテキスト注釈パイプラインを開発しました。これは、シングルビューまたはマルチビュービデオのモーションに自動的に注釈を付け、各ビデオの包括的な意味ラベルと、各ビデオのきめ細かい全身ポーズの説明を提供します。
フレーム。
このパイプラインは高精度でコスト効率が高く、さらなる研究のために拡張可能です。
これに基づいて、大規模なシーンからの 81.1K のモーション シーケンスをカバーする 15.6M の正確な 3D 全身ポーズ アノテーション (つまり SMPL-X) で構成される Motion-X を構築します。
さらに、Motion-X は、1,560 万のフレームレベルの全身ポーズ記述と 81.1K のシーケンスレベルのセマンティックラベルを提供します。
包括的な実験により、アノテーション パイプラインの精度と、表現力豊かで多様で自然なモーションの生成、および 3D 全身ヒューマン メッシュの回復を強化する Motion-X の大きな利点が実証されています。
要約(オリジナル)
In this paper, we present Motion-X, a large-scale 3D expressive whole-body motion dataset. Existing motion datasets predominantly contain body-only poses, lacking facial expressions, hand gestures, and fine-grained pose descriptions. Moreover, they are primarily collected from limited laboratory scenes with textual descriptions manually labeled, which greatly limits their scalability. To overcome these limitations, we develop a whole-body motion and text annotation pipeline, which can automatically annotate motion from either single- or multi-view videos and provide comprehensive semantic labels for each video and fine-grained whole-body pose descriptions for each frame. This pipeline is of high precision, cost-effective, and scalable for further research. Based on it, we construct Motion-X, which comprises 15.6M precise 3D whole-body pose annotations (i.e., SMPL-X) covering 81.1K motion sequences from massive scenes. Besides, Motion-X provides 15.6M frame-level whole-body pose descriptions and 81.1K sequence-level semantic labels. Comprehensive experiments demonstrate the accuracy of the annotation pipeline and the significant benefit of Motion-X in enhancing expressive, diverse, and natural motion generation, as well as 3D whole-body human mesh recovery.
arxiv情報
| 著者 | Jing Lin,Ailing Zeng,Shunlin Lu,Yuanhao Cai,Ruimao Zhang,Haoqian Wang,Lei Zhang |
| 発行日 | 2024-01-26 15:40:29+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google