Human-Art: A Versatile Human-Centric Dataset Bridging Natural and Artificial Scenes

要約

タイトル：Human-Art：自然と人工のシーンを結びつける多目的人間中心データセット

要約：

– 人間は、古代からさまざまな形で記録されています。例えば、彫刻や絵画は、カメラが発明される前に人間像を描く主な媒体でした。
– しかし、現在の人間中心のコンピュータビジョンタスク（人間姿勢推定や人間画像生成など）の多くは、自然界の画像にのみ焦点を当てており、彫刻、絵画、漫画などの人工的な人間像は一般的に無視されています。
– 芸術は生活の抽象化であり、自然と人工的なシーンの両方に人間を含んでいます。
– このことを利用して、Human-Artデータセットを紹介します。これは、自然界の5つのシーンと人工的な15のシーンからなる50kの高品質画像で構成されており、2Dおよび3Dで表現される人間に対してバウンディングボックス、キーポイント、自己接触点、およびテキスト情報が付与されています。
– したがって、さまざまなダウンストリームタスクにとって包括的で多目的であり、人間検出、2Dおよび3D人間姿勢推定、画像生成、モーショントランスファーなどの関連タスクに対する豊富な基準結果と詳細な分析も提供しています。
– 挑戦的なデータセットとして、Human-Artは関連する研究に洞察を提供し、新しい研究問題を開くことを期待しています。

要約(オリジナル)

Humans have long been recorded in a variety of forms since antiquity. For example, sculptures and paintings were the primary media for depicting human beings before the invention of cameras. However, most current human-centric computer vision tasks like human pose estimation and human image generation focus exclusively on natural images in the real world. Artificial humans, such as those in sculptures, paintings, and cartoons, are commonly neglected, making existing models fail in these scenarios. As an abstraction of life, art incorporates humans in both natural and artificial scenes. We take advantage of it and introduce the Human-Art dataset to bridge related tasks in natural and artificial scenarios. Specifically, Human-Art contains 50k high-quality images with over 123k person instances from 5 natural and 15 artificial scenarios, which are annotated with bounding boxes, keypoints, self-contact points, and text information for humans represented in both 2D and 3D. It is, therefore, comprehensive and versatile for various downstream tasks. We also provide a rich set of baseline results and detailed analyses for related tasks, including human detection, 2D and 3D human pose estimation, image generation, and motion transfer. As a challenging dataset, we hope Human-Art can provide insights for relevant research and open up new research questions.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI