Yin-Yang: Developing Motifs With Long-Term Structure And Controllability

要約

トランスモデルは、象徴的に表現された音楽を生成して、地元の一貫性を備えた大きな進歩を遂げました。
ただし、グローバルな形で構造化された方法でモチーフの開発を制御することは、オープンな研究分野のままです。
この課題の理由の1つは、モチーフからの逸脱後に自分自身を修正する能力がない、そのようなモデルの自己回帰のメモによるものです。
さらに、より短い期間のデータセットでの構造性能は、文献では研究されていません。
この研究では、長期的な構造と制御性を備えたメロディーにモチーフを開発するためのフレーズジェネレーター、フレーズ精製業者、およびフレーズセレクターモデルで構成されるフレームワークであるYin-Yangを提案します。
このフレーズの精製業者は、世代時に元のモチーフのメロディックおよびリズミカルなバリエーションを生成することを可能にする新しい腐敗要求戦略について訓練されており、それによってジェネレーターのフレーズの逸脱を修正します。
また、モチーフが作品内でどれほどスムーズに現れるかを定量化するための新しい客観的評価メトリックを紹介します。
評価の結果は、私たちのモデルが最先端の変圧器モデルと比較してより良いパフォーマンスを達成し、制御可能であり、生成された音楽構造を半分に解釈できるという利点を持ち、音楽分析の方法を舗装することを示しています。
コードとデモのページは、https：//github.com/keshavbhandari/yinyangにあります。

要約(オリジナル)

Transformer models have made great strides in generating symbolically represented music with local coherence. However, controlling the development of motifs in a structured way with global form remains an open research area. One of the reasons for this challenge is due to the note-by-note autoregressive generation of such models, which lack the ability to correct themselves after deviations from the motif. In addition, their structural performance on datasets with shorter durations has not been studied in the literature. In this study, we propose Yin-Yang, a framework consisting of a phrase generator, phrase refiner, and phrase selector models for the development of motifs into melodies with long-term structure and controllability. The phrase refiner is trained on a novel corruption-refinement strategy which allows it to produce melodic and rhythmic variations of an original motif at generation time, thereby rectifying deviations of the phrase generator. We also introduce a new objective evaluation metric for quantifying how smoothly the motif manifests itself within the piece. Evaluation results show that our model achieves better performance compared to state-of-the-art transformer models while having the advantage of being controllable and making the generated musical structure semi-interpretable, paving the way for musical analysis. Our code and demo page can be found at https://github.com/keshavbhandari/yinyang.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google