ObjectDrop: Bootstrapping Counterfactuals for Photorealistic Object Removal and Insertion

要約

拡散モデルは画像編集に革命をもたらしましたが、多くの場合、物理法則、特にオクルージョン、影、反射などのシーン上のオブジェクトの影響に違反する画像が生成されます。
自己教師ありアプローチの限界を分析することにより、\q{反事実} データセットを中心とした実用的な解決策を提案します。
私たちの方法では、他の変更を最小限に抑えながら、単一のオブジェクトを削除する前後のシーンをキャプチャします。
このデータセットの拡散モデルを微調整することで、オブジェクトを削除するだけでなく、シーン上のオブジェクトの影響も削除することができます。
ただし、フォトリアリスティックなオブジェクトの挿入にこのアプローチを適用するには、非現実的に大規模なデータセットが必要であることがわかりました。
この課題に取り組むために、私たちはブートストラップ監視を提案します。
小さな反事実データセットでトレーニングされたオブジェクト除去モデルを活用して、このデータセットを合成的に大幅に拡張します。
私たちのアプローチは、特にシーン上のオブジェクトの効果のモデリングにおいて、フォトリアリスティックなオブジェクトの削除と挿入において、従来の方法よりも大幅に優れています。

要約(オリジナル)

Diffusion models have revolutionized image editing but often generate images that violate physical laws, particularly the effects of objects on the scene, e.g., occlusions, shadows, and reflections. By analyzing the limitations of self-supervised approaches, we propose a practical solution centered on a \q{counterfactual} dataset. Our method involves capturing a scene before and after removing a single object, while minimizing other changes. By fine-tuning a diffusion model on this dataset, we are able to not only remove objects but also their effects on the scene. However, we find that applying this approach for photorealistic object insertion requires an impractically large dataset. To tackle this challenge, we propose bootstrap supervision; leveraging our object removal model trained on a small counterfactual dataset, we synthetically expand this dataset considerably. Our approach significantly outperforms prior methods in photorealistic object removal and insertion, particularly at modeling the effects of objects on the scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google