SwapAnything: Enabling Arbitrary Object Swapping in Personalized Visual Editing

要約

個人コンテンツの効果的な編集は、個人が創造性を表現し、視覚的なストーリーの中に魅力的な物語を織り込み、視覚コンテンツの全体的な品質と影響力を高める上で極めて重要な役割を果たします。
したがって、この研究では、コンテキストを変更せずに、画像内の任意のオブジェクトを参照によって与えられた個人化された概念と交換できる新しいフレームワークである SwapAnything を紹介します。
パーソナライズされた被写体を交換する既存の方法と比較して、SwapAnything には 3 つの独自の利点があります: (1) 主要な被写体ではなく、任意のオブジェクトとパーツを正確に制御する、(2) コンテキスト ピクセルをより忠実に保存する、(3) パーソナライズされたコンセプトをより適切に適応する
画像に。
まず、潜在特徴マップに領域制御を適用し、マスクされた変数を交換して、忠実なコンテキストの保存と初期の意味論的概念の交換を行う、ターゲットを絞った変数交換を提案します。
次に、外観適応を導入し、画像生成プロセス中にターゲットの位置、形状、スタイル、コンテンツの観点から意味論的な概念を元の画像にシームレスに適応させます。
人間による評価と自動評価の両方に関する広範な結果は、パーソナライズされたスワッピングに関するベースライン手法と比較して、当社のアプローチが大幅に改善されたことを示しています。
さらに、SwapAnything は、単一オブジェクト、複数オブジェクト、部分オブジェクト、およびクロスドメイン スワッピング タスクにわたって、正確かつ忠実なスワッピング機能を示します。
SwapAnything は、テキストベースのスワッピングや、オブジェクトの挿入などのスワッピングを超えるタスクでも優れたパフォーマンスを実現します。

要約(オリジナル)

Effective editing of personal content holds a pivotal role in enabling individuals to express their creativity, weaving captivating narratives within their visual stories, and elevate the overall quality and impact of their visual content. Therefore, in this work, we introduce SwapAnything, a novel framework that can swap any objects in an image with personalized concepts given by the reference, while keeping the context unchanged. Compared with existing methods for personalized subject swapping, SwapAnything has three unique advantages: (1) precise control of arbitrary objects and parts rather than the main subject, (2) more faithful preservation of context pixels, (3) better adaptation of the personalized concept to the image. First, we propose targeted variable swapping to apply region control over latent feature maps and swap masked variables for faithful context preservation and initial semantic concept swapping. Then, we introduce appearance adaptation, to seamlessly adapt the semantic concept into the original image in terms of target location, shape, style, and content during the image generation process. Extensive results on both human and automatic evaluation demonstrate significant improvements of our approach over baseline methods on personalized swapping. Furthermore, SwapAnything shows its precise and faithful swapping abilities across single object, multiple objects, partial object, and cross-domain swapping tasks. SwapAnything also achieves great performance on text-based swapping and tasks beyond swapping such as object insertion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google