ObjectClear: Complete Object Removal via Object-Effect Attention

要約

オブジェクトの削除には、ターゲットオブジェクトだけでなく、影や反射などの効果も排除する必要があります。
ただし、拡散ベースの開始方法は、多くの場合、アーティファクト、幻覚コンテンツ、背景を変え、オブジェクト効果を正確に除去するのに苦労します。
この課題に対処するために、オブジェクト効果の有無にかかわらずペアの画像を提供するオブジェクト効果削除の新しいデータセットと、オブジェクトと関連する視覚アーティファクトの両方の正確なマスクを提供します。
データセットは、高品質のキャプチャされたシミュレーションデータで構成され、多様なオブジェクトカテゴリと複雑なマルチオブジェクトシーンをカバーしています。
Oberに基づいて、新しいフレームワークであるObjectClearを提案します。これには、注意マスクを学習し、バックグラウンドの再構築から前景除去を効果的に切り離すことにより、オブジェクト効果の注意メカニズムを組み込んで前景除去領域に導くオブジェクト効果の注意メカニズムが組み込まれています。
さらに、予測される注意マップは、推論中に注意誘導融合戦略を可能にし、背景の詳細​​を大幅に保存します。
広範な実験は、ObjectClearが既存の方法を上回り、特に複雑なシナリオでオブジェクト効果の除去の品質と背景の忠実度を改善することを実証しています。

要約(オリジナル)

Object removal requires eliminating not only the target object but also its effects, such as shadows and reflections. However, diffusion-based inpainting methods often produce artifacts, hallucinate content, alter background, and struggle to remove object effects accurately. To address this challenge, we introduce a new dataset for OBject-Effect Removal, named OBER, which provides paired images with and without object effects, along with precise masks for both objects and their associated visual artifacts. The dataset comprises high-quality captured and simulated data, covering diverse object categories and complex multi-object scenes. Building on OBER, we propose a novel framework, ObjectClear, which incorporates an object-effect attention mechanism to guide the model toward the foreground removal regions by learning attention masks, effectively decoupling foreground removal from background reconstruction. Furthermore, the predicted attention map enables an attention-guided fusion strategy during inference, greatly preserving background details. Extensive experiments demonstrate that ObjectClear outperforms existing methods, achieving improved object-effect removal quality and background fidelity, especially in complex scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google