Structured Multi-Track Accompaniment Arrangement via Style Prior Modelling

要約

音楽 AI の分野では、シンプルなリードシートから豊かで構造化されたマルチトラック伴奏をアレンジすることは大きな課題となります。
このような課題には、トラックの凝集性の維持、長期的な一貫性の確保、計算効率の最適化などが含まれます。
この論文では、これらの課題に対処するために、解きほぐされたスタイル要素に対する事前のモデリングを活用する新しいシステムを紹介します。
私たちの方法は 2 段階のプロセスを示します。最初に、ピアノのテクスチャ スタイルを取得することによってリード シートからピアノのアレンジメントが導出されます。
続いて、オーケストラ機能スタイルをピアノアレンジメントに注入することによって、マルチトラックオーケストレーションが生成されます。
私たちの主要な設計は、ベクトル量子化と独自のマルチストリーム トランスフォーマーを使用して、オーケストレーション スタイルの長期的な流れをモデル化することで、柔軟で制御可能で構造化された音楽生成を可能にします。
実験では、配置タスクを解釈可能なサブステージに因数分解することで、私たちのアプローチが効率を向上させながら生成能力を強化することを示しています。
さらに、当社のシステムはさまざまな音楽ジャンルをサポートし、さまざまな作曲階層でのスタイル制御を提供します。
さらに、私たちのシステムが既存のベースラインと比較して優れた一貫性、構造、および全体的な配置品質を達成していることを示します。

要約(オリジナル)

In the realm of music AI, arranging rich and structured multi-track accompaniments from a simple lead sheet presents significant challenges. Such challenges include maintaining track cohesion, ensuring long-term coherence, and optimizing computational efficiency. In this paper, we introduce a novel system that leverages prior modelling over disentangled style factors to address these challenges. Our method presents a two-stage process: initially, a piano arrangement is derived from the lead sheet by retrieving piano texture styles; subsequently, a multi-track orchestration is generated by infusing orchestral function styles into the piano arrangement. Our key design is the use of vector quantization and a unique multi-stream Transformer to model the long-term flow of the orchestration style, which enables flexible, controllable, and structured music generation. Experiments show that by factorizing the arrangement task into interpretable sub-stages, our approach enhances generative capacity while improving efficiency. Additionally, our system supports a variety of music genres and provides style control at different composition hierarchies. We further show that our system achieves superior coherence, structure, and overall arrangement quality compared to existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google