Adaptive Accompaniment with ReaLchords

要約

ジャミングには、ミュージシャン間の調整、期待、共同の創造性が必要です。
音楽の現在の生成モデルは表情豊かな出力を生成しますが、他のミュージシャン（人間またはその他）と同時に\ emphing {オンライン}マナーで生成することはできません。
ユーザーメロディーに伴奏伴奏伴奏を即興で即興するためのオンライン生成モデルであるRealChordsを提案します。
私たちは、最尤で事前に処理されたオンラインモデルから始め、補強学習を使用して、オンラインで使用するためにモデルを微調整します。
Finetuningの目的は、メロディーとコードの間の高調波と時間的一貫性の両方に関するフィードバックを提供する新しい報酬モデルと、将来のメロディーを見ることができる教師モデルからの新しいタイプの蒸留を実装する発散用語の両方を活用します。
定量的実験とリスニングテストを通じて、結果のモデルがなじみのない入力に適応し、フィッティング伴奏を生成することを実証します。
RealChordsは、ライブジャミングへの扉を開き、他のモダリティでの同時の共創を開きます。

要約(オリジナル)

Jamming requires coordination, anticipation, and collaborative creativity between musicians. Current generative models of music produce expressive output but are not able to generate in an \emph{online} manner, meaning simultaneously with other musicians (human or otherwise). We propose ReaLchords, an online generative model for improvising chord accompaniment to user melody. We start with an online model pretrained by maximum likelihood, and use reinforcement learning to finetune the model for online use. The finetuning objective leverages both a novel reward model that provides feedback on both harmonic and temporal coherency between melody and chord, and a divergence term that implements a novel type of distillation from a teacher model that can see the future melody. Through quantitative experiments and listening tests, we demonstrate that the resulting model adapts well to unfamiliar input and produce fitting accompaniment. ReaLchords opens the door to live jamming, as well as simultaneous co-creation in other modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google