MatSwap: Light-aware material transfers in images

要約

MATSWAPを提示します。MATSWAPは、画像の指定表面に材料を指定された表面に転送する方法を示しています。
このようなタスクは、写真の物質的な外観、ジオメトリ、照明の大きな絡み合いのために、自明ではありません。
文献では、材料の編集方法は通常、扱いにくいテキストエンジニアリングまたはアーティストの知識と取得するのが非現実的な3Dシーンプロパティを必要とする広範な手動注釈に依存しています。
対照的に、明示的なUVマッピングを必要とせずに、平らな表面で観察されるように、平らな表面で観察されるように、入力材料間の関係を直接学習することを提案します。
これを達成するために、カスタムライトおよびジオメトリを意識した拡散モデルに依存しています。
合成データセットを使用して、材料転送のための大規模な事前訓練を受けたテキストから画像から画像間モデルを微調整し、その強力な事前に維持して、実際の画像への効果的な一般化を確保します。
その結果、私たちの方法は、シーンのアイデンティティを保持しながら、写真のターゲット位置に目的の資料をシームレスに統合します。
合成画像と実際の画像に関する方法を評価し、定性的および定量的に最近の研究と比較していることを示します。
公開時にコードとデータをリリースします。

要約(オリジナル)

We present MatSwap, a method to transfer materials to designated surfaces in an image photorealistically. Such a task is non-trivial due to the large entanglement of material appearance, geometry, and lighting in a photograph. In the literature, material editing methods typically rely on either cumbersome text engineering or extensive manual annotations requiring artist knowledge and 3D scene properties that are impractical to obtain. In contrast, we propose to directly learn the relationship between the input material — as observed on a flat surface — and its appearance within the scene, without the need for explicit UV mapping. To achieve this, we rely on a custom light- and geometry-aware diffusion model. We fine-tune a large-scale pre-trained text-to-image model for material transfer using our synthetic dataset, preserving its strong priors to ensure effective generalization to real images. As a result, our method seamlessly integrates a desired material into the target location in the photograph while retaining the identity of the scene. We evaluate our method on synthetic and real images and show that it compares favorably to recent work both qualitatively and quantitatively. We will release our code and data upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google