HybridBooth: Hybrid Prompt Inversion for Efficient Subject-Driven Generation

要約

テキストから画像への拡散モデルの最近の進歩により、テキストのプロンプトによる驚くべき創造的能力が示されましたが、主題駆動型生成として知られる、特定の主題に基づいてパーソナライズされたインスタンスを生成することは依然として困難です。
この問題に取り組むために、最適化ベースの手法と直接回帰手法の利点を統合した、HybridBooth と呼ばれる新しいハイブリッド フレームワークを紹介します。
HybridBooth は 2 つの段階で動作します。Word Embedding Probe は、微調整されたエンコーダーを使用して堅牢な初期単語埋め込みを生成します。もう 1 つは Word Embedding Refinement です。Word Embedding Refinement は、主要なパラメーターを最適化することでエンコーダーを特定の被写体の画像にさらに適応させます。
このアプローチにより、モデルの一般化機能を維持しながら、たとえ単一の画像からであっても、視覚的な概念をテキストの埋め込みに効果的かつ迅速に反転できます。

要約(オリジナル)

Recent advancements in text-to-image diffusion models have shown remarkable creative capabilities with textual prompts, but generating personalized instances based on specific subjects, known as subject-driven generation, remains challenging. To tackle this issue, we present a new hybrid framework called HybridBooth, which merges the benefits of optimization-based and direct-regression methods. HybridBooth operates in two stages: the Word Embedding Probe, which generates a robust initial word embedding using a fine-tuned encoder, and the Word Embedding Refinement, which further adapts the encoder to specific subject images by optimizing key parameters. This approach allows for effective and fast inversion of visual concepts into textual embedding, even from a single image, while maintaining the model’s generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google