DreamPaint: Few-Shot Inpainting of E-Commerce Items for Virtual Try-On without 3D Modeling

要約

タイトル： DreamPaint：3Dモデリングなしで仮想試着のためのeコマース商品のフューションインペインティング

要約：

– DreamPaintは、どのようなeコマース商品でも、任意のユーザ提供のコンテキストイメージにスマートにフュージョンインペインティングするフレームワークです。
– ユーザがeコマースカタログから洋服を選んで試着する場合、自分自身のイメージを使用し、彼らの部屋のイメージを使用してeコマースカタログから家具の試着をする場合など、コンテキストイメージは、ユーザースマートフォンのカメラからとることができます。
– DreamPaintは、過去の拡張現実（AR）ベースの仮想試着法とは異なり、eコマース商品やユーザコンテキストの3Dモデリングを使用しないため、これらを必要としません。代わりに、商品カタログデータベースで利用可能な2D画像と、ユーザのスマートフォンのカメラから撮影された2Dコンテキストの画像を直接使用します。
– この方法は、商品カタログ画像のマスク潜在変数（Masked DreamBoothなど）をアイテムごとに、少数のショットで事前学習された拡散モデルを微調整することに依存しており、その重みは、特徴を保存することができる事前学習済みのインペインティングモジュールに読み込まれます。
– DreamPaintは、製品画像とコンテキスト（環境/ユーザ）画像の両方を保存することができ、欠落している部分（製品/コンテキスト）を説明するためのテキストガイダンスを必要としません。
– DreamPaintは、以前の製品の参照2D画像で見たことがない場合でも、希望する場所に製品を置くための最適な3Dアングルをスマートに推論できます。
– 著者らは、テキストガイドと画像ガイドのインペインティングモジュールとの比較を行い、主観的な人間の研究と定量的なメトリックの両方で、DreamPaintが優れた性能を発揮することを示しました。

要約(オリジナル)

We introduce DreamPaint, a framework to intelligently inpaint any e-commerce product on any user-provided context image. The context image can be, for example, the user’s own image for virtual try-on of clothes from the e-commerce catalog on themselves, the user’s room image for virtual try-on of a piece of furniture from the e-commerce catalog in their room, etc. As opposed to previous augmented-reality (AR)-based virtual try-on methods, DreamPaint does not use, nor does it require, 3D modeling of neither the e-commerce product nor the user context. Instead, it directly uses 2D images of the product as available in product catalog database, and a 2D picture of the context, for example taken from the user’s phone camera. The method relies on few-shot fine tuning a pre-trained diffusion model with the masked latents (e.g., Masked DreamBooth) of the catalog images per item, whose weights are then loaded on a pre-trained inpainting module that is capable of preserving the characteristics of the context image. DreamPaint allows to preserve both the product image and the context (environment/user) image without requiring text guidance to describe the missing part (product/context). DreamPaint also allows to intelligently infer the best 3D angle of the product to place at the desired location on the user context, even if that angle was previously unseen in the product’s reference 2D images. We compare our results against both text-guided and image-guided inpainting modules and show that DreamPaint yields superior performance in both subjective human study and quantitative metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI