Cut-and-Paste Object Insertion by Enabling Deep Image Prior for Reshading

要約

ある画像から別の画像にオブジェクトを挿入し、挿入されたオブジェクトのシェーディングがシーンのシェーディングと衝突する難しいケースで現実的な結果を得る方法を示します。
シーンのイルミネーション モデルを使用したオブジェクトのレンダリングは機能しません。これを行うには、単一の画像から復元するのが難しいオブジェクトのジオメトリ モデルとマテリアル モデルが必要になるためです。
この論文では、幾何学的および物理的なモデルや環境マップを必要とせずに、挿入されたオブジェクトのシェーディングの不一致を修正する方法を紹介します。
私たちの方法は、一貫した画像分解推論損失を介して、挿入されたオブジェクトの再シェーディングされたレンダリングを生成するように訓練されたディープ イメージ プライア (DIP) を使用します。
DIP から得られた画像は、(a) カット アンド ペーストのアルベドに類似したアルベド、(b) ターゲット シーンのシェーディング フィールドに類似したシェーディング フィールド、および (c) カットと一致するシェーディングを持つことを目的としています。
サーフェス法線を貼り付けます。
結果は、挿入されたオブジェクトの説得力のあるシェーディングを生成する簡単な手順です。
複雑な表面特性を持ついくつかのオブジェクトと、定量的評価のための球形ランプシェードのデータセットに対して、定性的および定量的にこの方法の有効性を示します。
私たちの方法は、これらすべてのオブジェクトの画像調和 (IH) ベースラインよりも大幅に優れています。
また、100 人を超えるユーザーを対象としたユーザー調査では、カット アンド ペーストおよび IH ベースラインよりも優れています。

要約(オリジナル)

We show how to insert an object from one image to another and get realistic results in the hard case, where the shading of the inserted object clashes with the shading of the scene. Rendering objects using an illumination model of the scene doesn’t work, because doing so requires a geometric and material model of the object, which is hard to recover from a single image. In this paper, we introduce a method that corrects shading inconsistencies of the inserted object without requiring a geometric and physical model or an environment map. Our method uses a deep image prior (DIP), trained to produce reshaded renderings of inserted objects via consistent image decomposition inferential losses. The resulting image from DIP aims to have (a) an albedo similar to the cut-and-paste albedo, (b) a similar shading field to that of the target scene, and (c) a shading that is consistent with the cut-and-paste surface normals. The result is a simple procedure that produces convincing shading of the inserted object. We show the efficacy of our method both qualitatively and quantitatively for several objects with complex surface properties and also on a dataset of spherical lampshades for quantitative evaluation. Our method significantly outperforms an Image Harmonization (IH) baseline for all these objects. They also outperform the cut-and-paste and IH baselines in a user study with over 100 users.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google