Emotion-driven Piano Music Generation via Two-stage Disentanglement and Functional Representation

要約

感情的な側面を管理することは、音楽の自動生成において依然として課題です。
従来の作品は、さまざまな感情を一度に学習することを目的としていたため、モデリングが不十分でした。
この論文は、2 段階のフレームワークを通じて、ピアノ演奏の生成における感情の解きほぐしを探求します。
第 1 段階ではリードシートの価数モデリングに焦点を当て、第 2 段階ではパフォーマンスレベルの属性を導入することで覚醒モデリングに取り組みます。
これまでのアプローチではあまり検討されていなかった、価性を形成する特徴をさらに捉えるために、象徴的な音楽の新しい機能的表現を導入します。
この表現は、長調と短調の調性、および音、和音、調号間の相互作用による感情的な影響を捉えることを目的としています。
客観的および主観的な実験により、感情価と覚醒モデリングの両方におけるフレームワークの有効性が検証されます。
さらに、感情制御の新しいアプリケーションでフレームワークを活用し、感情駆動型の音楽生成における幅広い可能性を示しています。

要約(オリジナル)

Managing the emotional aspect remains a challenge in automatic music generation. Prior works aim to learn various emotions at once, leading to inadequate modeling. This paper explores the disentanglement of emotions in piano performance generation through a two-stage framework. The first stage focuses on valence modeling of lead sheet, and the second stage addresses arousal modeling by introducing performance-level attributes. To further capture features that shape valence, an aspect less explored by previous approaches, we introduce a novel functional representation of symbolic music. This representation aims to capture the emotional impact of major-minor tonality, as well as the interactions among notes, chords, and key signatures. Objective and subjective experiments validate the effectiveness of our framework in both emotional valence and arousal modeling. We further leverage our framework in a novel application of emotional controls, showing a broad potential in emotion-driven music generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google