Generate Anything Anywhere in Any Scene

要約

テキストから画像への拡散モデルは、さまざまな分野に幅広く適用できるため、大きな関心を集めています。
ただし、パーソナライズされたオブジェクト生成のための制御可能なモデルを作成するには課題が残ります。
この論文では、まず既存のパーソナライズされた生成モデルにおけるもつれの問題を特定し、次にオブジェクトのアイデンティティのみに焦点を当てるように拡散モデルを導く直接的で効率的なデータ拡張トレーニング戦略を提案します。
事前にトレーニングされた制御可能な拡散モデルからプラグ アンド プレイ アダプター レイヤーを挿入することにより、私たちのモデルは、生成された各パーソナライズされたオブジェクトの位置とサイズを制御する機能を獲得します。
推論中に、生成された画像の品質と忠実性を維持するために、地域に応じたサンプリング手法を提案します。
私たちの方法は、パーソナライズされたオブジェクトに対して同等またはそれ以上の忠実度を達成し、リアルでパーソナライズされた画像を生成できる、堅牢で汎用性があり、制御可能なテキストから画像への拡散モデルを生成します。
私たちのアプローチは、アート、エンターテイメント、広告デザインなど、さまざまな用途に大きな可能性をもたらします。

要約(オリジナル)

Text-to-image diffusion models have attracted considerable interest due to their wide applicability across diverse fields. However, challenges persist in creating controllable models for personalized object generation. In this paper, we first identify the entanglement issues in existing personalized generative models, and then propose a straightforward and efficient data augmentation training strategy that guides the diffusion model to focus solely on object identity. By inserting the plug-and-play adapter layers from a pre-trained controllable diffusion model, our model obtains the ability to control the location and size of each generated personalized object. During inference, we propose a regionally-guided sampling technique to maintain the quality and fidelity of the generated images. Our method achieves comparable or superior fidelity for personalized objects, yielding a robust, versatile, and controllable text-to-image diffusion model that is capable of generating realistic and personalized images. Our approach demonstrates significant potential for various applications, such as those in art, entertainment, and advertising design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google