DreamStyler: Paint by Style Inversion with Text-to-Image Diffusion Models

要約

大規模なテキストから画像へのモデルにおける最近の進歩は、芸術分野でさまざまな応用が見出され、目覚ましい成果を上げています。
ただし、テキストプロンプトだけでアートワークのユニークな特徴（筆致、色調、構図など）を表現するには、口頭での説明に固有の制約があるため、制限に遭遇する可能性があります。
この目的を達成するために、テキストから画像への合成とスタイル転送の両方に優れた、芸術的な画像合成用に設計された新しいフレームワークである DreamStyler を紹介します。
DreamStyler は、コンテキストを認識したテキスト プロンプトを使用してマルチステージのテキスト埋め込みを最適化し、優れた画質を実現します。
さらに、DreamStyler は、コンテンツとスタイルのガイダンスにより、さまざまなスタイル参照に対応できる柔軟性を示します。
実験結果では、複数のシナリオにわたってその優れたパフォーマンスが実証されており、芸術的な製品作成における有望な可能性が示唆されています。

要約(オリジナル)

Recent progresses in large-scale text-to-image models have yielded remarkable accomplishments, finding various applications in art domain. However, expressing unique characteristics of an artwork (e.g. brushwork, colortone, or composition) with text prompts alone may encounter limitations due to the inherent constraints of verbal description. To this end, we introduce DreamStyler, a novel framework designed for artistic image synthesis, proficient in both text-to-image synthesis and style transfer. DreamStyler optimizes a multi-stage textual embedding with a context-aware text prompt, resulting in prominent image quality. In addition, with content and style guidance, DreamStyler exhibits flexibility to accommodate a range of style references. Experimental results demonstrate its superior performance across multiple scenarios, suggesting its promising potential in artistic product creation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google