Shadow Generation for Composite Image Using Diffusion model

要約

画像合成の分野では、挿入された前景にリアルな影を生成することは依然として大きな課題です。
これまでの研究では、ペアになったトレーニング データでトレーニングされる画像間変換モデルが開発されました。
しかし、データの不足と固有のタスクの複雑さによって、正確な形状と強度の影を生成するのに苦労しています。
この論文では、自然な影画像に関する豊富な事前知識を備えた基礎モデルに頼ります。
具体的には、まず ControlNet をタスクに適応させ、次に影の強度を改善する強度変調モジュールを提案します。
さらに、新しいデータ取得パイプラインを使用して、小規模 DESOBA データセットを DESOBAv2 に拡張します。
DESOBA と DESOBAv2 の両方のデータセットと実際の合成画像の実験結果は、シャドウ生成タスクに対するモデルの優れた機能を示しています。
データセット、コード、モデルは https://github.com/bcmi/Object-Shadow-Generation-Dataset-DESOBAv2 でリリースされています。

要約(オリジナル)

In the realm of image composition, generating realistic shadow for the inserted foreground remains a formidable challenge. Previous works have developed image-to-image translation models which are trained on paired training data. However, they are struggling to generate shadows with accurate shapes and intensities, hindered by data scarcity and inherent task complexity. In this paper, we resort to foundation model with rich prior knowledge of natural shadow images. Specifically, we first adapt ControlNet to our task and then propose intensity modulation modules to improve the shadow intensity. Moreover, we extend the small-scale DESOBA dataset to DESOBAv2 using a novel data acquisition pipeline. Experimental results on both DESOBA and DESOBAv2 datasets as well as real composite images demonstrate the superior capability of our model for shadow generation task. The dataset, code, and model are released at https://github.com/bcmi/Object-Shadow-Generation-Dataset-DESOBAv2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google