Album cover art image generation with Generative Adversarial Networks

要約

Generative Adversarial Networks (GAN) は 2014 年に Goodfellow によって導入され、それ以来、生成的な人工知能モデルの構築で人気を博しています。
ただし、このようなネットワークには、トレーニング時間が長くなる、ハイパーパラメーター調整に対する感度が高い、いくつかの種類の損失関数と最適化関数、モード崩壊などのその他の問題など、多数の欠点があります。
GAN の現在のアプリケーションには、写真のようにリアルな人間の顔、動物、オブジェクトの生成が含まれます。
ただし、既存のモデルを使用して学習することにより、GAN の芸術的能力をより詳細に調査したいと考えました。
この論文は、ニューラル ネットワークの基本をカバーし、GAN の特定の側面に至るまで、最も単純なものから最も複雑なものまで、既存の利用可能なモデルの実験と変更を行います。
その意図は、最先端の GAN (特に StyleGAN2) がアルバム アート カバーを生成できるかどうか、およびジャンルごとに調整できるかどうかを確認することです。
これは、最先端の StyleGAN2 を含む 3 つの既存の GAN アーキテクチャに慣れることから始めました。
StyleGAN2 コードは、8 万枚のアルバム カバー画像を含むデータセットを使用してモデルをトレーニングするために使用され、キュレートされた画像を選択してそれらのスタイルを組み合わせることで画像のスタイルを設定するために使用されました。

要約(オリジナル)

Generative Adversarial Networks (GANs) were introduced by Goodfellow in 2014, and since then have become popular for constructing generative artificial intelligence models. However, the drawbacks of such networks are numerous, like their longer training times, their sensitivity to hyperparameter tuning, several types of loss and optimization functions and other difficulties like mode collapse. Current applications of GANs include generating photo-realistic human faces, animals and objects. However, I wanted to explore the artistic ability of GANs in more detail, by using existing models and learning from them. This dissertation covers the basics of neural networks and works its way up to the particular aspects of GANs, together with experimentation and modification of existing available models, from least complex to most. The intention is to see if state of the art GANs (specifically StyleGAN2) can generate album art covers and if it is possible to tailor them by genre. This was attempted by first familiarizing myself with 3 existing GANs architectures, including the state of the art StyleGAN2. The StyleGAN2 code was used to train a model with a dataset containing 80K album cover images, then used to style images by picking curated images and mixing their styles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google