OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

要約

拡散ベースの生成モデルは、オブジェクト指向の画像編集に革命をもたらしましたが、現実的なオブジェクトの除去と挿入への展開は、物理的効果の複雑な相互作用やペアのトレーニングデータが不十分ななどの課題によって妨げられたままです。
この作業では、孤立したタスクではなく相互依存プロセスとしてオブジェクトの削除と挿入を再概念化する統一されたフレームワークであるOmnipaintを紹介します。
事前に訓練された拡散を活用して、初期のペアのサンプル最適化とその後のサイクルフローを介した大規模な大規模な洗練された精製を含むプログレッシブトレーニングパイプラインとともに、正確な前景エリミネーションとシームレスなオブジェクトの挿入を実現しながら、シーンのジオメトリとイントリン特性を忠実に保存します。
さらに、私たちの新しいCFDメトリックは、コンテキストの一貫性とオブジェクトの幻覚の堅牢で参照フリーの評価を提供し、高忠実度の画像編集のための新しいベンチマークを確立します。
プロジェクトページ：https：//yeates.github.io/omnipaint-page/

要約(オリジナル)

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google