High-Quality Animatable Dynamic Garment Reconstruction from Monocular Videos

要約

画像やビデオから衣服を再構築することにおいては、大きな進歩が見られました。
しかし、既存の作品はどれも、目に見えないさまざまなポーズに調整できる高品質でアニメーション化可能な動的衣服をデジタル化するという期待に応えられません。
この論文では、スキャンデータに依存せずに単眼ビデオから高品質でアニメーション化可能な動的衣服を復元する最初の方法を提案します。
さまざまな目に見えないポーズに対して合理的な変形を生成するために、衣服の再構成タスクをポーズ駆動型の変形問題として定式化する学習可能な衣服変形ネットワークを提案します。
単眼ビデオから 3D 衣服を推定する際の曖昧さを軽減するために、複数のもっともらしい変形の空間表現を学習する複数仮説変形モジュールを設計します。
いくつかの公開データセットでの実験結果は、私たちの方法が、目に見えないポーズの下で簡単にアニメーション化できる、一貫した表面の詳細を備えた高品質の動的衣服を再構築できることを実証しています。
コードは研究目的で提供されます。

要約(オリジナル)

Much progress has been made in reconstructing garments from an image or a video. However, none of existing works meet the expectations of digitizing high-quality animatable dynamic garments that can be adjusted to various unseen poses. In this paper, we propose the first method to recover high-quality animatable dynamic garments from monocular videos without depending on scanned data. To generate reasonable deformations for various unseen poses, we propose a learnable garment deformation network that formulates the garment reconstruction task as a pose-driven deformation problem. To alleviate the ambiguity estimating 3D garments from monocular videos, we design a multi-hypothesis deformation module that learns spatial representations of multiple plausible deformations. Experimental results on several public datasets demonstrate that our method can reconstruct high-quality dynamic garments with coherent surface details, which can be easily animated under unseen poses. The code will be provided for research purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google