Garment Avatars: Realistic Cloth Driving using Pattern Registration

要約

バーチャル・テレプレゼンスは、オンライン・コミュニケーションの未来です。衣服は、人のアイデンティティや自己表現に欠かせないものです。しかし、リアルな衣服アニメーションのためのテレプレゼンスモデルのトレーニングに必要な解像度や精度で、登録された衣服のグランドトゥルースデータは現在利用できない。本発表では、衣服のドライバブルな表現を構築するためのエンドツーエンドのパイプラインを提案する。本アプローチの中核となるのは、高精度に変形を捉えることができるマルチビュー・パターン・クロス・トラッキング・アルゴリズムである。さらに、我々のトラッキング手法によって生成された高品質なデータを利用して、衣服のための表現力豊かで完全にドライバブルなジオメトリモデルであるガーメントアバターを構築します。このモデルは疎なビューのセットを使ってアニメーションさせることができ、運転信号に忠実な非常にリアルな再構成を生成します。このアプリケーションでは、2つのビューから衣服が再構成され、ユーザは衣服のデザインを自由に選択し、交換することができます。さらに、ボディポーズのみで駆動する困難なシナリオにおいて、我々の駆動可能な衣服アバターが、最先端技術を大幅に上回る品質のリアルな布の形状を生成することができることを示す。

要約(オリジナル)

Virtual telepresence is the future of online communication. Clothing is an essential part of a person’s identity and self-expression. Yet, ground truth data of registered clothes is currently unavailable in the required resolution and accuracy for training telepresence models for realistic cloth animation. Here, we propose an end-to-end pipeline for building drivable representations for clothing. The core of our approach is a multi-view patterned cloth tracking algorithm capable of capturing deformations with high accuracy. We further rely on the high-quality data produced by our tracking method to build a Garment Avatar: an expressive and fully-drivable geometry model for a piece of clothing. The resulting model can be animated using a sparse set of views and produces highly realistic reconstructions which are faithful to the driving signals. We demonstrate the efficacy of our pipeline on a realistic virtual telepresence application, where a garment is being reconstructed from two views, and a user can pick and swap garment design as they wish. In addition, we show a challenging scenario when driven exclusively with body pose, our drivable garment avatar is capable of producing realistic cloth geometry of significantly higher quality than the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL