MaterialFusion: High-Quality, Zero-Shot, and Controllable Material Transfer with Diffusion Models

要約

画像内のオブジェクトの物質的な外観を操作することは、拡張現実、仮想プロトタイピング、デジタルコンテンツの作成などのアプリケーションにとって重要です。
ユーザーが新しい材料特性とオブジェクトの元の機能との間の最適なバランスをとることができる高品質の材料転送の新しいフレームワークであるMaterialSfusionを提示します。
MaterialFusionは、バックグラウンドの一貫性を維持し、境界アーティファクトを緩和することにより、変更されたオブジェクトをシーンにシームレスに統合します。
アプローチを徹底的に評価するために、実際の材料転送例のデータセットをまとめて、複雑な比較分析を実施しました。
包括的な定量的評価とユーザー調査を通じて、MaterialFusionは、品質、ユーザー制御、およびバックグラウンドの保存の点で既存の方法を大幅に上回ることを実証します。
コードはhttps://github.com/kzgarifullin/materialFusionで入手できます。

要約(オリジナル)

Manipulating the material appearance of objects in images is critical for applications like augmented reality, virtual prototyping, and digital content creation. We present MaterialFusion, a novel framework for high-quality material transfer that allows users to adjust the degree of material application, achieving an optimal balance between new material properties and the object’s original features. MaterialFusion seamlessly integrates the modified object into the scene by maintaining background consistency and mitigating boundary artifacts. To thoroughly evaluate our approach, we have compiled a dataset of real-world material transfer examples and conducted complex comparative analyses. Through comprehensive quantitative evaluations and user studies, we demonstrate that MaterialFusion significantly outperforms existing methods in terms of quality, user control, and background preservation. Code is available at https://github.com/kzGarifullin/MaterialFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google