Graph-based Polyphonic Multitrack Music Generation

要約

グラフを利用して、ポリフォニック マルチトラックの象徴的な音楽をモデル化できます。この場合、音符、コード、セクション全体が、調性とリズミカルな関係によって音楽階層のさまざまなレベルでリンクされます。
それにもかかわらず、音楽生成のための深層学習システムの文脈でグラフ表現を考慮した作品は不足しています。
この論文は、音楽の新しいグラフ表現と、音楽の事前構造に一致する階層アーキテクチャを使用して、音楽グラフの構造とコンテンツを次々に個別に生成する深い変分オートエンコーダを導入することで、このギャップを埋めます。
音楽グラフの構造と内容を分離することで、特定の時間にどの楽器が演奏されるかを指定することで生成を条件付けることができます。
これにより、音楽の共同制作という文脈において、人間とコンピューターの新しい形の対話への扉が開かれます。
既存の MIDI データセットでモデルをトレーニングした後の実験では、モデルが魅力的な短い音楽シーケンスと長い音楽シーケンスを生成し、それらの間を現実的に補間して、調性とリズミカルに一貫性のある音楽を生成できることがわかりました。
最後に、埋め込みの視覚化は、モデルが既知の音楽概念に従って潜在空間を組織化できることを示しています。

要約(オリジナル)

Graphs can be leveraged to model polyphonic multitrack symbolic music, where notes, chords and entire sections may be linked at different levels of the musical hierarchy by tonal and rhythmic relationships. Nonetheless, there is a lack of works that consider graph representations in the context of deep learning systems for music generation. This paper bridges this gap by introducing a novel graph representation for music and a deep Variational Autoencoder that generates the structure and the content of musical graphs separately, one after the other, with a hierarchical architecture that matches the structural priors of music. By separating the structure and content of musical graphs, it is possible to condition generation by specifying which instruments are played at certain times. This opens the door to a new form of human-computer interaction in the context of music co-creation. After training the model on existing MIDI datasets, the experiments show that the model is able to generate appealing short and long musical sequences and to realistically interpolate between them, producing music that is tonally and rhythmically consistent. Finally, the visualization of the embeddings shows that the model is able to organize its latent space in accordance with known musical concepts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google