Shadow Generation with Decomposed Mask Prediction and Attentive Shadow Filling

要約

画像合成とは、背景画像に前景オブジェクトを挿入して合成画像を得ることである。本研究では、合成画像をよりリアルにするために、挿入された前景オブジェクトに対してもっともらしい影を生成することに焦点を当てる。既存の小規模データセットを補完するために、レンダリング技術を用いたRdSOBAと呼ばれる大規模データセットを作成する。さらに、DMASNetと名付けられた、分解されたマスク予測と気配りされた影充填を持つ2段階のネットワークを設計する。具体的には、第一段階では、影のマスク予測をボックス予測と形状予測に分解する。第二段階では、前景の影を埋めるために、参照背景影画素に注目する。豊富な実験により、我々のDMASNetがより優れた視覚効果を達成し、実際の合成画像によく一般化することが証明された。

要約(オリジナル)

Image composition refers to inserting a foreground object into a background image to obtain a composite image. In this work, we focus on generating plausible shadows for the inserted foreground object to make the composite image more realistic. To supplement the existing small-scale dataset, we create a large-scale dataset called RdSOBA with rendering techniques. Moreover, we design a two-stage network named DMASNet with decomposed mask prediction and attentive shadow filling. Specifically, in the first stage, we decompose shadow mask prediction into box prediction and shape prediction. In the second stage, we attend to reference background shadow pixels to fill the foreground shadow. Abundant experiments prove that our DMASNet achieves better visual effects and generalizes well to real composite images.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL