MARBLE: Material Recomposition and Blending in CLIP-Space

要約

模範的な画像に基づいた画像内のオブジェクトの資料の編集は、コンピュータービジョンとグラフィックスの研究のアクティブな領域です。
大理石を提案します。これは、クリップスペースに材料の埋め込みを見つけ、事前に訓練されたテキストから画像モデルを制御するために材料の埋め込みを使用して、材料の混合および再構成する方法を提案します。
材料の帰属の原因となる除去UNETのブロックを見つけることにより、模範ベースの材料編集を改善します。
2つの材料の模範を考えると、材料をブレンドするためのクリップスペースに方向があります。
さらに、浅いネットワークを使用して、粗さ、金属、透明性、グローなどの微粒材料属性をパラメトリック制御して、目的の材料属性の変化の方向を予測することができます。
定性的および定量的分析を実施して、提案された方法の有効性を実証します。
また、単一のフォワードパスで複数の編集を実行する方法と塗装への適用性を示します。
プロジェクトページ：https：//marblecontrol.github.io/

要約(オリジナル)

Editing materials of objects in images based on exemplar images is an active area of research in computer vision and graphics. We propose MARBLE, a method for performing material blending and recomposing fine-grained material properties by finding material embeddings in CLIP-space and using that to control pre-trained text-to-image models. We improve exemplar-based material editing by finding a block in the denoising UNet responsible for material attribution. Given two material exemplar-images, we find directions in the CLIP-space for blending the materials. Further, we can achieve parametric control over fine-grained material attributes such as roughness, metallic, transparency, and glow using a shallow network to predict the direction for the desired material attribute change. We perform qualitative and quantitative analysis to demonstrate the efficacy of our proposed method. We also present the ability of our method to perform multiple edits in a single forward pass and applicability to painting. Project Page: https://marblecontrol.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google