GarVerseLOD: High-Fidelity 3D Garment Reconstruction from a Single In-the-Wild Image using a Dataset with Levels of Details

要約

ニューラルの暗黙的関数は、複数の画像または単一の画像からの衣服を着た人間のデジタル化の最先端技術に目覚ましい進歩をもたらしました。
しかし、進歩にもかかわらず、現在の芸術では、複雑な布の変形や体のポーズを含む未見のイメージを一般化することがまだ困難です。
この研究では、単一の制約のない画像から高忠実度の 3D 衣服再構成において前例のない堅牢性を達成する道を開く、新しいデータセットおよびフレームワークである GarVerseLOD を紹介します。
大規模な生成モデルの最近の成功に触発され、一般化の課題に対処する 1 つの鍵は 3D 衣服データの量と質にあると考えています。
この目的に向けて、GarVerseLOD は、プロのアーティストが手作業で作成した、きめの細かいジオメトリの詳細を備えた高品質の布地モデルを 6,000 点収集しています。
トレーニング データの規模に加えて、ジオメトリの細分性が解きほぐされていることが、学習されたモデルの汎化能力と推論精度を高める上で重要な役割を果たす可能性があることが観察されています。
したがって、GarVerseLOD を詳細レベル (LOD) を備えた階層データセットとして作成し、詳細のない様式化された形状から、ピクセルが位置合わせされた詳細を持つポーズがブレンドされた衣服にまで及びます。
これにより、推論をより簡単なタスクに因数分解し、それぞれをより小さい検索スペースで絞り込むことで、この高度に制約が不十分な問題を扱いやすくすることができます。
GarVerseLOD が実際の画像に適切に一般化できることを保証するために、条件付き拡散モデルに基づく新しいラベリング パラダイムを提案し、高いフォトリアリズムを備えた各衣類モデルの広範なペア画像を生成します。
私たちは、大量の実際の画像を使用してメソッドを評価しました。
実験結果は、GarVerseLOD が従来のアプローチよりも大幅に優れた品質の独立した衣類を生成できることを示しています。
プロジェクトページ：https://garverselod.github.io/

要約(オリジナル)

Neural implicit functions have brought impressive advances to the state-of-the-art of clothed human digitization from multiple or even single images. However, despite the progress, current arts still have difficulty generalizing to unseen images with complex cloth deformation and body poses. In this work, we present GarVerseLOD, a new dataset and framework that paves the way to achieving unprecedented robustness in high-fidelity 3D garment reconstruction from a single unconstrained image. Inspired by the recent success of large generative models, we believe that one key to addressing the generalization challenge lies in the quantity and quality of 3D garment data. Towards this end, GarVerseLOD collects 6,000 high-quality cloth models with fine-grained geometry details manually created by professional artists. In addition to the scale of training data, we observe that having disentangled granularities of geometry can play an important role in boosting the generalization capability and inference accuracy of the learned model. We hence craft GarVerseLOD as a hierarchical dataset with levels of details (LOD), spanning from detail-free stylized shape to pose-blended garment with pixel-aligned details. This allows us to make this highly under-constrained problem tractable by factorizing the inference into easier tasks, each narrowed down with smaller searching space. To ensure GarVerseLOD can generalize well to in-the-wild images, we propose a novel labeling paradigm based on conditional diffusion models to generate extensive paired images for each garment model with high photorealism. We evaluate our method on a massive amount of in-the-wild images. Experimental results demonstrate that GarVerseLOD can generate standalone garment pieces with significantly better quality than prior approaches. Project page: https://garverselod.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google