Exploring Variational Auto-Encoder Architectures, Configurations, and Datasets for Generative Music Explainable AI

要約

音楽や芸術全般の生成 AI モデルはますます複雑になり、理解するのが難しくなります。
eXplainable AI (XAI) の分野では、ニューラル ネットワークなどの複雑で不透明な AI モデルを人々がより理解しやすくすることを目指しています。
生成 AI モデルをより理解しやすくするための 1 つのアプローチは、意味的に意味のある少数の属性を生成 AI モデルに課すことです。
この論文は、変分自動エンコーダ モデル (MeasureVAE および AdversarialVAE)、AI モデルの潜在空間の構成 (4 から 256 の潜在次元)、およびトレーニング データセット (アイルランドの民族、トルコの民族) のさまざまな組み合わせが与える影響の体系的な調査に貢献します。
、クラシック、ポップスなど）は、2 つまたは 4 つの意味のある音楽属性が生成モデルに課されると、音楽生成パフォーマンスに影響を与えます。
現在まで、このようなモデルをこのレベルの組み合わせの詳細で体系的に比較したことはありません。
私たちの調査結果は、音楽属性の独立性が優れている AdversarialVAE よりも MeasureVAE の方が再構築パフォーマンスが優れていることを示しています。
結果は、MeasureVAE が、制御の解釈可能な音楽的次元を備えた音楽ジャンル全体で音楽を生成でき、ポップやロックなどの複雑さの低い音楽で最高のパフォーマンスを発揮することを示しています。
MeasureVAE を使用してジャンルをまたがる音楽を生成する場合、4 つの正規化された次元には 32 または 64 の潜在次元空間が最適であることをお勧めします。
私たちの結果は、音楽用の最先端の生成 AI モデルの構成を詳細に比較した初めての結果であり、より理解しやすい音楽生成のための AI モデル、音楽特徴、データセットの選択と構成に使用できます。

要約(オリジナル)

Generative AI models for music and the arts in general are increasingly complex and hard to understand. The field of eXplainable AI (XAI) seeks to make complex and opaque AI models such as neural networks more understandable to people. One approach to making generative AI models more understandable is to impose a small number of semantically meaningful attributes on generative AI models. This paper contributes a systematic examination of the impact that different combinations of Variational Auto-Encoder models (MeasureVAE and AdversarialVAE), configurations of latent space in the AI model (from 4 to 256 latent dimensions), and training datasets (Irish folk, Turkish folk, Classical, and pop) have on music generation performance when 2 or 4 meaningful musical attributes are imposed on the generative model. To date there have been no systematic comparisons of such models at this level of combinatorial detail. Our findings show that MeasureVAE has better reconstruction performance than AdversarialVAE which has better musical attribute independence. Results demonstrate that MeasureVAE was able to generate music across music genres with interpretable musical dimensions of control, and performs best with low complexity music such a pop and rock. We recommend that a 32 or 64 latent dimensional space is optimal for 4 regularised dimensions when using MeasureVAE to generate music across genres. Our results are the first detailed comparisons of configurations of state-of-the-art generative AI models for music and can be used to help select and configure AI models, musical features, and datasets for more understandable generation of music.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google