GarmentCrafter: Progressive Novel View Synthesis for Single-View 3D Garment Reconstruction and Editing

要約

GarmentCrafterを紹介します。これは、非専門的なユーザーがシングルビュー画像から3D衣服を作成および変更できる新しいアプローチです。
画像生成の最近の進歩により、2D衣服のデザインが促進されましたが、3D衣服の作成と編集は、非専門的なユーザーにとって依然として困難です。
シングルビュー3D再構成の既存の方法は、多くの場合、事前に訓練された生成モデルに依存して、参照画像とカメラのポーズ上の新しいビューの条件付けを合成しますが、クロスビューの一貫性がなく、異なるビューで内部関係をキャプチャできません。
この論文では、この課題にプログレッシブ深度予測とイメージワーピングを通じて、新しい見解を近似してこの課題に取り組みます。
その後、マルチビュー拡散モデルをトレーニングして、進化するカメラのポーズによって通知された、閉塞されていない未知の衣類領域を完全にします。
RGBと深さを共同で推測することにより、GarmentCrafterはインタービューのコヒーレンスを実施し、正確な形状と細かい詳細を再構築します。
広範な実験は、私たちの方法が、最先端のシングルビュー3D衣服の再構築方法と比較して、優れた視覚的忠実度と視点間の一貫性を達成することを示しています。

要約(オリジナル)

We introduce GarmentCrafter, a new approach that enables non-professional users to create and modify 3D garments from a single-view image. While recent advances in image generation have facilitated 2D garment design, creating and editing 3D garments remains challenging for non-professional users. Existing methods for single-view 3D reconstruction often rely on pre-trained generative models to synthesize novel views conditioning on the reference image and camera pose, yet they lack cross-view consistency, failing to capture the internal relationships across different views. In this paper, we tackle this challenge through progressive depth prediction and image warping to approximate novel views. Subsequently, we train a multi-view diffusion model to complete occluded and unknown clothing regions, informed by the evolving camera pose. By jointly inferring RGB and depth, GarmentCrafter enforces inter-view coherence and reconstructs precise geometries and fine details. Extensive experiments demonstrate that our method achieves superior visual fidelity and inter-view coherence compared to state-of-the-art single-view 3D garment reconstruction methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google