ReaLJam: Real-Time Human-AI Music Jamming with Reinforcement Learning-Tuned Transformers

要約

生成人工知能（AI）の最近の進歩により、高品質の音楽コンテンツ生成が可能なモデルが作成されました。
ただし、重要な必要な機能のために、これらのモデルをリアルタイムまたは協力的なジャミングミュージカルアプリケーションに使用する方法についてはほとんど考慮されていません：低遅延、計画的アクションを伝える能力、およびユーザー入力にリアルタイムで適応する能力。
これらのニーズをサポートするために、RealJamは、人間と強化学習で訓練されたトランスベースのAIエージェントの間のライブミュージカルジャミングセッションのインターフェイスとプロトコルであるRealJamを紹介します。
エージェントがパフォーマンスがどのように展開されるかを継続的に予測し、ユーザーに計画を視覚的に伝える予測の概念を使用して、リアルタイムのインタラクションを有効にします。
私たちは、経験豊富なミュージシャンがRealjamを通じてエージェントとリアルタイムでジャムするユーザー調査を実施しています。
私たちの結果は、Realjamが楽しく音楽的に興味深いセッションを可能にし、将来の仕事のための重要な持ち帰りを明らかにすることを示しています。

要約(オリジナル)

Recent advances in generative artificial intelligence (AI) have created models capable of high-quality musical content generation. However, little consideration is given to how to use these models for real-time or cooperative jamming musical applications because of crucial required features: low latency, the ability to communicate planned actions, and the ability to adapt to user input in real-time. To support these needs, we introduce ReaLJam, an interface and protocol for live musical jamming sessions between a human and a Transformer-based AI agent trained with reinforcement learning. We enable real-time interactions using the concept of anticipation, where the agent continually predicts how the performance will unfold and visually conveys its plan to the user. We conduct a user study where experienced musicians jam in real-time with the agent through ReaLJam. Our results demonstrate that ReaLJam enables enjoyable and musically interesting sessions, and we uncover important takeaways for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google