SmartEraser: Remove Anything from Images using Masked-Region Guidance

要約

これまで、オブジェクトの削除はマスクと修復のパラダイムが主流でした。このパラダイムでは、マスクされた領域が入力から除外され、モデルはマスクされていない領域に依存して欠落領域を修復します。
ただし、このアプローチではマスクされた領域のコンテキスト情報が不足しているため、パフォーマンスが不安定になることがよくあります。
この作業では、マスク領域ガイダンスと呼ばれる新しい削除パラダイムで構築された SmartEraser を紹介します。
このパラダイムは、マスクされた領域を入力内に保持し、それを削除プロセスのガイダンスとして使用します。
これには、いくつかの明確な利点があります。(a) 除去されるオブジェクトを正確に識別するようにモデルをガイドし、出力でのオブジェクトの再生成を防ぎます。
(b) ユーザー マスクはオブジェクト自体を超えて拡張されることが多いため、最終結果で周囲のコンテキストを保持するのに役立ちます。
この新しいパラダイムを活用して、大規模なオブジェクト削除データセットである Syn4Removal を紹介します。このデータセットでは、インスタンス セグメンテーション データを使用してオブジェクトを削除ターゲットとして画像にコピー アンド ペーストし、元の画像がグラウンド トゥルースとして機能します。
実験結果は、SmartEraser が既存の方法を大幅に上回り、特に複雑な構成を持つ複雑なシーンでオブジェクトの削除において優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Object removal has so far been dominated by the mask-and-inpaint paradigm, where the masked region is excluded from the input, leaving models relying on unmasked areas to inpaint the missing region. However, this approach lacks contextual information for the masked area, often resulting in unstable performance. In this work, we introduce SmartEraser, built with a new removing paradigm called Masked-Region Guidance. This paradigm retains the masked region in the input, using it as guidance for the removal process. It offers several distinct advantages: (a) it guides the model to accurately identify the object to be removed, preventing its regeneration in the output; (b) since the user mask often extends beyond the object itself, it aids in preserving the surrounding context in the final result. Leveraging this new paradigm, we present Syn4Removal, a large-scale object removal dataset, where instance segmentation data is used to copy and paste objects onto images as removal targets, with the original images serving as ground truths. Experimental results demonstrate that SmartEraser significantly outperforms existing methods, achieving superior performance in object removal, especially in complex scenes with intricate compositions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google