CLIPAway: Harmonizing Focused Embeddings for Removing Objects via Diffusion Models

要約

高度な画像編集技術、特に修復は、視覚的な完全性を維持しながら不要な要素をシームレスに削除するために不可欠です。
従来の GAN ベースの手法は顕著な成功を収めてきましたが、拡散モデルの最近の進歩は、大規模なデータセットでのトレーニングにより優れた結果を生み出し、非常にリアルなペイントされた画像の生成を可能にしました。
拡散モデルにはその利点があるにもかかわらず、明示的なガイダンスがないと物体を除去するタスクに苦労することが多く、除去された物体の意図しない幻覚につながることがあります。
この問題に対処するために、CLIP 埋め込みを利用して前景要素を除外しながら背景領域に焦点を当てる新しいアプローチである CLIPAway を導入します。
CLIPAway は、背景を優先する埋め込みを識別することで修復の精度と品質を向上させ、シームレスなオブジェクトの削除を実現します。
特殊なトレーニング データセットや高価な手動アノテーションに依存する他の方法とは異なり、CLIPAway は、さまざまな拡散ベースの修復手法と互換性のある柔軟なプラグアンドプレイ ソリューションを提供します。

要約(オリジナル)

Advanced image editing techniques, particularly inpainting, are essential for seamlessly removing unwanted elements while preserving visual integrity. Traditional GAN-based methods have achieved notable success, but recent advancements in diffusion models have produced superior results due to their training on large-scale datasets, enabling the generation of remarkably realistic inpainted images. Despite their strengths, diffusion models often struggle with object removal tasks without explicit guidance, leading to unintended hallucinations of the removed object. To address this issue, we introduce CLIPAway, a novel approach leveraging CLIP embeddings to focus on background regions while excluding foreground elements. CLIPAway enhances inpainting accuracy and quality by identifying embeddings that prioritize the background, thus achieving seamless object removal. Unlike other methods that rely on specialized training datasets or costly manual annotations, CLIPAway provides a flexible, plug-and-play solution compatible with various diffusion-based inpainting techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google