Creative Painting with Latent Diffusion Models

要約

近年、芸術的な絵画は大きな進歩を遂げています。
潜在拡散モデル（LDM）は、拡散のバックボーンとして、圧縮された潜在空間とクロスアテンション強化U-Netで元の画像を接続するオートエンコーダーを使用して、安定した高受精画像生成を実現しました。
この論文では、現在の LDM の創造的な絵画能力を、テキスト条件の拡張と Wikiart データセットを使用したモデルの再トレーニングという 2 つの方向で強化することに焦点を当てています。
テキスト条件拡張により、ユーザーの入力プロンプトは、プロンプトをより深く理解し、説明するための豊富なコンテキスト知識で拡張されます。
ウィキアート データセットには、過去 400 年間に 1,000 人以上の有名なアーティストが豊富なスタイルとジャンルで描いた 80,000 の有名なアートワークが含まれています。
再訓練を通じて、私たちはこれらのアーティストに現代的なトピックに関する斬新で創造的な絵画を描くよう依頼することができます.
オリジナルモデルとの直接比較は、創造性と芸術性が豊かであることを示しています。

要約(オリジナル)

Artistic painting has achieved significant progress during recent years. Using an autoencoder to connect the original images with compressed latent spaces and a cross attention enhanced U-Net as the backbone of diffusion, latent diffusion models (LDMs) have achieved stable and high fertility image generation. In this paper, we focus on enhancing the creative painting ability of current LDMs in two directions, textual condition extension and model retraining with Wikiart dataset. Through textual condition extension, users’ input prompts are expanded with rich contextual knowledge for deeper understanding and explaining the prompts. Wikiart dataset contains 80K famous artworks drawn during recent 400 years by more than 1,000 famous artists in rich styles and genres. Through the retraining, we are able to ask these artists to draw novel and creative painting on modern topics. Direct comparisons with the original model show that the creativity and artistry are enriched.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google