Highly Personalized Text Embedding for Image Manipulation by Stable Diffusion

要約

拡散モデルは、画像の生成と操作において優れたパフォーマンスを示していますが、固有の確率性により、画像の内容とアイデンティティの保存と操作に課題が生じます。
DreamBooth や Textual Inversion などの以前のアプローチでは、コンテンツを維持するためにモデルまたは潜在的な表現のパーソナライズが提案されていましたが、複数の参照画像と複雑なトレーニングへの依存により、実用性が制限されています。
このホワイトペーパーでは、パーソナライズとコンテンツ操作のためにCLIP埋め込みスペースを分解することにより、高度にパーソナライズされた（HiPer）テキスト埋め込みを使用した、シンプルでありながら非常に効果的なパーソナライズへのアプローチを紹介します。
私たちの方法では、モデルの微調整や識別子は必要ありませんが、単一の画像とターゲット テキストだけで背景、テクスチャ、モーションを操作できます。
多様なターゲット テキストでの実験を通じて、私たちのアプローチが幅広いタスクにわたって高度にパーソナライズされた複雑なセマンティック イメージ編集を生成することを実証します。
この作品で提示されたテキスト埋め込みスペースの新しい理解は、さまざまなタスクにわたるさらなる研究を刺激する可能性があると信じています。

要約(オリジナル)

Diffusion models have shown superior performance in image generation and manipulation, but the inherent stochasticity presents challenges in preserving and manipulating image content and identity. While previous approaches like DreamBooth and Textual Inversion have proposed model or latent representation personalization to maintain the content, their reliance on multiple reference images and complex training limits their practicality. In this paper, we present a simple yet highly effective approach to personalization using highly personalized (HiPer) text embedding by decomposing the CLIP embedding space for personalization and content manipulation. Our method does not require model fine-tuning or identifiers, yet still enables manipulation of background, texture, and motion with just a single image and target text. Through experiments on diverse target texts, we demonstrate that our approach produces highly personalized and complex semantic image edits across a wide range of tasks. We believe that the novel understanding of the text embedding space presented in this work has the potential to inspire further research across various tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google