Creative Painting with Latent Diffusion Models

要約

芸術的な絵画は、数百の GAN バリアントを適用することで、近年大きな進歩を遂げています。
ただし、敵対的トレーニングは不安定であることが報告されており、モードの崩壊につながる可能性があります。
最近、拡散モデルは、敵対的なトレーニングなしでGANレベルのサンプル品質を達成しました。
オートエンコーダーを使用して元の画像を圧縮された潜在空間に投影し、クロスアテンション強化 U-Net を拡散のバックボーンとして使用することで、潜在拡散モデルは安定した高受精率の画像生成を実現しました。
この論文では、現在の潜在的な拡散モデルの創造的な絵画能力を、テキスト条件の拡張と Wikiart データセットを使用したモデルの再トレーニングの 2 つの方向で強化することに焦点を当てています。
テキスト条件の拡張により、ユーザーの入力プロンプトは時間的および空間的な方向に拡張され、プロンプトをより深く理解し、説明することができます。
ウィキアート データセットには、過去 400 年間に 1,000 人以上の有名なアーティストが豊富なスタイルとジャンルで描いた 80,000 の有名なアートワークが含まれています。
再訓練を通じて、私たちはこれらのアーティストに現代的なトピックに関する斬新で創造的な絵画を描くよう依頼することができます.

要約(オリジナル)

Artistic painting has achieved significant progress during recent years by applying hundreds of GAN variants. However, adversarial training has been reported to be notoriously unstable and can lead to mode collapse. Recently, diffusion models have achieved GAN-level sample quality without adversarial training. Using autoencoders to project the original images into compressed latent spaces and cross attention enhanced U-Net as the backbone of diffusion, latent diffusion models have achieved stable and high fertility image generation. In this paper, we focus on enhancing the creative painting ability of current latent diffusion models in two directions, textual condition extension and model retraining with Wikiart dataset. Through textual condition extension, users’ input prompts are expanded in temporal and spacial directions for deeper understanding and explaining the prompts. Wikiart dataset contains 80K famous artworks drawn during recent 400 years by more than 1,000 famous artists in rich styles and genres. Through the retraining, we are able to ask these artists to draw novel and creative painting on modern topics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google