ConceptLab: Creative Concept Generation using VLM-Guided Diffusion Prior Constraints

要約

最近のテキストから画像への生成モデルにより、私たちの言葉を活気に満ちた魅力的な画像に変換できるようになりました。
その後のパーソナライゼーション技術の急増により、私たちは新しいシーンでユニークなコンセプトを想像できるようになりました。
しかし、興味深い疑問が残ります。これまでに見たことのない新しい想像上の概念をどのように生成できるのでしょうか?
この論文では、クリエイティブなテキストから画像への生成タスクを紹介します。このタスクでは、幅広いカテゴリの新しいメンバーを生成しようとします (たとえば、既存のすべてのペットとは異なるペットを生成する)。
我々は、十分に研究されていない拡散事前モデルを活用し、クリエイティブ生成問題が拡散事前の出力空間にわたる最適化プロセスとして定式化され、その結果一連の「事前制約」が得られることを示します。
生成されたコンセプトが既存のメンバーに収束しないようにするために、最適化問題に新しい制約を適応的に追加する質問応答型のビジョン言語モデル (VLM) を組み込んで、モデルがますますユニークな創造物を発見できるように促します。
最後に、事前の制約が強力な混合メカニズムとしても機能し、生成されたコンセプト間のハイブリッドを作成して、創造的なプロセスにさらなる柔軟性を導入できることを示します。

要約(オリジナル)

Recent text-to-image generative models have enabled us to transform our words into vibrant, captivating imagery. The surge of personalization techniques that has followed has also allowed us to imagine unique concepts in new scenes. However, an intriguing question remains: How can we generate a new, imaginary concept that has never been seen before? In this paper, we present the task of creative text-to-image generation, where we seek to generate new members of a broad category (e.g., generating a pet that differs from all existing pets). We leverage the under-studied Diffusion Prior models and show that the creative generation problem can be formulated as an optimization process over the output space of the diffusion prior, resulting in a set of ‘prior constraints’. To keep our generated concept from converging into existing members, we incorporate a question-answering Vision-Language Model (VLM) that adaptively adds new constraints to the optimization problem, encouraging the model to discover increasingly more unique creations. Finally, we show that our prior constraints can also serve as a strong mixing mechanism allowing us to create hybrids between generated concepts, introducing even more flexibility into the creative process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google