Latent Inversion with Timestep-aware Sampling for Training-free Non-rigid Editing

要約

テキストガイドによる非剛体編集には、周囲の動きや構成を変更するなど、入力画像の複雑な編集が含まれます。
入力構造を操作する必要があるため、既存の方法では、特に安定拡散と組み合わせた場合、オブジェクトのアイデンティティと背景を保持するのに苦労することがよくあります。
この研究では、編集可能性を損なうことなくアイデンティティ保持品質を向上させることを目的として、安定拡散を使用した非剛体編集のためのトレーニング不要のアプローチを提案します。
私たちのアプローチは、テキストの最適化、潜在反転、タイムステップを意識したテキスト インジェクション サンプリングの 3 つの段階で構成されています。
Imagic の成功に触発され、スムーズな編集のためにテキスト最適化を採用しています。
次に、追加のモデル微調整を行わずに入力画像のアイデンティティを維持するために潜在反転を導入します。
潜在反転の入力再構築能力を最大限に活用するには、タイムステップを意識したテキスト インジェクション サンプリングを提案します。
これにより、初期のサンプリング ステップでソース テキスト プロンプトを挿入し、その後のサンプリング ステップでターゲット プロンプトに移行することで、入力画像の構造が効果的に保持されます。
この戦略的アプローチはテキストの最適化とシームレスに調和し、元のアイデンティティを失うことなく入力に対する複雑で厳密でない編集を容易にします。
私たちは広範な実験を通じて、アイデンティティの保持、編集可能性、美的品質の点で私たちの方法の有効性を実証します。

要約(オリジナル)

Text-guided non-rigid editing involves complex edits for input images, such as changing motion or compositions within their surroundings. Since it requires manipulating the input structure, existing methods often struggle with preserving object identity and background, particularly when combined with Stable Diffusion. In this work, we propose a training-free approach for non-rigid editing with Stable Diffusion, aimed at improving the identity preservation quality without compromising editability. Our approach comprises three stages: text optimization, latent inversion, and timestep-aware text injection sampling. Inspired by the success of Imagic, we employ their text optimization for smooth editing. Then, we introduce latent inversion to preserve the input image’s identity without additional model fine-tuning. To fully utilize the input reconstruction ability of latent inversion, we suggest timestep-aware text injection sampling. This effectively retains the structure of the input image by injecting the source text prompt in early sampling steps and then transitioning to the target prompt in subsequent sampling steps. This strategic approach seamlessly harmonizes with text optimization, facilitating complex non-rigid edits to the input without losing the original identity. We demonstrate the effectiveness of our method in terms of identity preservation, editability, and aesthetic quality through extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google