Cross-domain Compositing with Pretrained Diffusion Models

要約

拡散モデルにより、高品質の条件付き画像編集機能が可能になりました。
私たちは彼らの兵器庫を拡大することを提案し、市販の拡散モデルが幅広いクロスドメイン合成タスクに使用できることを実証します。
とりわけ、これらには、画像のブレンド、オブジェクトの没入、テクスチャの置換、さらには CG2Real の変換またはスタイライゼーションが含まれます。
挿入されたオブジェクトに背景シーンから得られたコンテキスト情報を注入し、オブジェクトが受ける可能性のある変更の程度と種類を制御できるようにする、ローカライズされた反復的な改良スキームを採用しています。
以前の研究とのさまざまな質的および量的比較を行い、注釈やトレーニングを必要とせずに、私たちの方法がより高品質で現実的な結果を生み出すことを示します。
最後に、ダウンストリーム タスクのデータ拡張にこの方法を使用する方法を示します。

要約(オリジナル)

Diffusion models have enabled high-quality, conditional image editing capabilities. We propose to expand their arsenal, and demonstrate that off-the-shelf diffusion models can be used for a wide range of cross-domain compositing tasks. Among numerous others, these include image blending, object immersion, texture-replacement and even CG2Real translation or stylization. We employ a localized, iterative refinement scheme which infuses the injected objects with contextual information derived from the background scene, and enables control over the degree and types of changes the object may undergo. We conduct a range of qualitative and quantitative comparisons to prior work, and exhibit that our method produces higher quality and realistic results without requiring any annotations or training. Finally, we demonstrate how our method may be used for data augmentation of downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google