Intrinsic Harmonization for Illumination-Aware Compositing

要約

ネットワークベースの画像調和技術が大幅に進歩したにもかかわらず、典型的なトレーニング ペアと推論中に遭遇する現実世界の合成との間には領域の差異が依然として存在します。
既存の手法のほとんどは、セグメント化された画像領域に対して行われた全体的な編集を元に戻すように訓練されており、合成画像に見られる前景と背景の間の照明の不一致を正確に捉えることができません。
この研究では、固有の画像領域で定式化された自己監視型照明調和アプローチを導入します。
まず、中間レベルのビジョン表現から単純なグローバル照明モデルを推定し、前景領域の大まかなシェーディングを生成します。
次にネットワークは、この推測されたシェーディングを改良して、背景シーンと一致する調和のとれた再シェーディングを生成します。
前景と背景の色の外観を一致させるために、事前調和アプローチのアイデアを利用して、アルベド ドメインでパラメーター化された画像編集を実行します。
私たちのアプローチの有効性を検証するために、挑戦的な現実世界の合成結果を提示し、最先端の調和手法と比較して達成されたリアリズムの向上を客観的に測定するユーザー調査を実施します。

要約(オリジナル)

Despite significant advancements in network-based image harmonization techniques, there still exists a domain disparity between typical training pairs and real-world composites encountered during inference. Most existing methods are trained to reverse global edits made on segmented image regions, which fail to accurately capture the lighting inconsistencies between the foreground and background found in composited images. In this work, we introduce a self-supervised illumination harmonization approach formulated in the intrinsic image domain. First, we estimate a simple global lighting model from mid-level vision representations to generate a rough shading for the foreground region. A network then refines this inferred shading to generate a harmonious re-shading that aligns with the background scene. In order to match the color appearance of the foreground and background, we utilize ideas from prior harmonization approaches to perform parameterized image edits in the albedo domain. To validate the effectiveness of our approach, we present results from challenging real-world composites and conduct a user study to objectively measure the enhanced realism achieved compared to state-of-the-art harmonization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google