AnyStory: Towards Unified Single and Multiple Subject Personalization in Text-to-Image Generation

要約

最近、大規模な生成モデルは、未解決のテキストからイメージまでの生成機能を実証しています。
ただし、特に複数の被験者が関与する場合、特定の被験者を持つ高忠実度のパーソナライズされた画像を生成することは、依然として課題を提示します。
この論文では、パーソナライズされた主題生成のための統一されたアプローチであるAnystoryを提案します。
AnyStoryは、単一の被験者の忠実度のパーソナライズを達成するだけでなく、被験者の忠実度を犠牲にすることなく、複数の被験者にとっても達成します。
具体的には、Anystoryは、「エンコード – ルート」の方法で主題のパーソナライズ問題をモデル化します。
エンコーディングステップでは、任意のストーリーは、普遍的で強力な画像エンコーダー、つまり、Clip Visionエンコーダーと併せて、referencenetを使用して、サブジェクト機能の高忠実度エンコードを実現します。
ルーティングステップでは、Anystoryは、分離されたインスタンスアウェア対象ルーターを使用して、潜在空間における対応する主題の潜在的な位置を正確に知覚および予測し、被験者条件の注入を導きます。
詳細な実験結果は、被験者の詳細を保持し、テキストの説明を調整し、複数の被験者のパーソナライズにおける私たちの方法の優れたパフォーマンスを示しています。
プロジェクトページはhttps://aigcdesigngroup.github.io/anystory/にあります。

要約(オリジナル)

Recently, large-scale generative models have demonstrated outstanding text-to-image generation capabilities. However, generating high-fidelity personalized images with specific subjects still presents challenges, especially in cases involving multiple subjects. In this paper, we propose AnyStory, a unified approach for personalized subject generation. AnyStory not only achieves high-fidelity personalization for single subjects, but also for multiple subjects, without sacrificing subject fidelity. Specifically, AnyStory models the subject personalization problem in an ‘encode-then-route’ manner. In the encoding step, AnyStory utilizes a universal and powerful image encoder, i.e., ReferenceNet, in conjunction with CLIP vision encoder to achieve high-fidelity encoding of subject features. In the routing step, AnyStory utilizes a decoupled instance-aware subject router to accurately perceive and predict the potential location of the corresponding subject in the latent space, and guide the injection of subject conditions. Detailed experimental results demonstrate the excellent performance of our method in retaining subject details, aligning text descriptions, and personalizing for multiple subjects. The project page is at https://aigcdesigngroup.github.io/AnyStory/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google