Exploring XAI for the Arts: Explaining Latent Space in Generative Music

要約

Explainable AI は、人々と創造的にコラボレーションできる、よりインタラクティブで流動的な共創 AI システムをサポートする可能性を秘めています。
これを行うには、創造的な AI モデルが、検査可能、理解可能、および変更可能な eXplainable AI (XAI) 機能を提供することで、デバッグに適している必要があります。
しかし、現在、芸術向けの XAI はほとんどありません。
この研究では、音楽生成の潜在変数モデルをより説明可能にする方法を実証します。
具体的には、音楽の小節を生成する MeasureVAE を拡張します。
i) 潜在空間の正則化を使用して、潜在空間の特定の次元を強制的に意味のある音楽属性にマッピングする、ii) ユーザー インターフェイスのフィードバック ループを提供して、ユーザーが潜在空間の次元を調整できるようにする、および
これらの変化の結果をリアルタイムで観察し、iii) 潜在空間の音楽的属性を視覚化して、人々が潜在空間次元への変化の影響を理解し、予測できるようにします。
そうすることで、モデルとその出力をより説明しやすく、よりデバッグしやすくする意味のある方法で、潜在空間と生成された音楽結果との間のギャップを埋めることをお勧めします。

要約(オリジナル)

Explainable AI has the potential to support more interactive and fluid co-creative AI systems which can creatively collaborate with people. To do this, creative AI models need to be amenable to debugging by offering eXplainable AI (XAI) features which are inspectable, understandable, and modifiable. However, currently there is very little XAI for the arts. In this work, we demonstrate how a latent variable model for music generation can be made more explainable; specifically we extend MeasureVAE which generates measures of music. We increase the explainability of the model by: i) using latent space regularisation to force some specific dimensions of the latent space to map to meaningful musical attributes, ii) providing a user interface feedback loop to allow people to adjust dimensions of the latent space and observe the results of these changes in real-time, iii) providing a visualisation of the musical attributes in the latent space to help people understand and predict the effect of changes to latent space dimensions. We suggest that in doing so we bridge the gap between the latent space and the generated musical outcomes in a meaningful way which makes the model and its outputs more explainable and more debuggable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google