WildAvatar: Learning In-the-wild 3D Avatars from the Web

要約

アバターの作成に関する既存の研究は、通常、実験室データセットに限定されており、スケーラビリティに対する高いコストが必要であり、現実世界の表現が不十分です。
一方、ウェブには既製の実世界の人間のビデオがたくさんありますが、これらのビデオは品質が異なり、アバターの作成に正確な注釈が必要です。
この目的のために、これらの人間をWebからキュレートするためのフィルタリングプロトコルを使用した自動注釈パイプラインを提案します。
当社のパイプラインは、EMDBベンチマークで最先端の方法を上回り、フィルタリングプロトコルはWebビデオの検証メトリックを高めます。
次に、YouTubeから抽出されたWebスケールの野生の人間のアバター作成データセットであるWildavatarをキュレートします。
Wildavatarは、3Dヒトアバター作成の以前のデータセットよりも少なくとも10ドル\ Times $豊富で、現実の世界に近いです。
その可能性を調査するために、Wildavatarでのアバター作成方法の品質と一般化可能性を示します。
コード、データソースリンク、アノテーションを公開して、3Dヒトアバター作成および実際のアプリケーション用のその他の関連フィールドを推進します。

要約(オリジナル)

Existing research on avatar creation is typically limited to laboratory datasets, which require high costs against scalability and exhibit insufficient representation of the real world. On the other hand, the web abounds with off-the-shelf real-world human videos, but these videos vary in quality and require accurate annotations for avatar creation. To this end, we propose an automatic annotating pipeline with filtering protocols to curate these humans from the web. Our pipeline surpasses state-of-the-art methods on the EMDB benchmark, and the filtering protocols boost verification metrics on web videos. We then curate WildAvatar, a web-scale in-the-wild human avatar creation dataset extracted from YouTube, with $10000+$ different human subjects and scenes. WildAvatar is at least $10\times$ richer than previous datasets for 3D human avatar creation and closer to the real world. To explore its potential, we demonstrate the quality and generalizability of avatar creation methods on WildAvatar. We will publicly release our code, data source links and annotations to push forward 3D human avatar creation and other related fields for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google