Human-Robot Cooperative Piano Playing with Learning-Based Real-Time Music Accompaniment

要約

機械学習の最近の進歩により、音楽ロボットやエンターテイメント ロボットの開発への道が開かれました。
しかし、人間とロボットが協力して楽器を演奏することは、特に複雑な運動調整と時間的同期のため、依然として課題が残っています。
この論文では、非言語的手がかりに基づく人間とロボットの協調ピアノ演奏のための理論的枠組みを提案します。
まず、リカレント ニューラル ネットワーク (RNN) を使用して、人間のメロディー入力に基づいて適切なコード進行を予測する音楽即興モデルを紹介します。
次に、シームレスな時間同期を促進し、協働ロボットが調和のとれた音響を生成できるようにする行動適応型コントローラーを提案します。
このコラボレーションでは、人間とロボットの間の双方向の情報の流れが考慮されています。
私たちは、人間とロボットのコラボレーション中のさまざまな通信様式の影響を分析することにより、協力の質を評価するエントロピー ベースのシステムを開発しました。
実験により、RNN ベースの即興演奏が 93\% の精度率を達成できることが実証されました。
一方、MPC アダプティブ コントローラーを使用すると、ロボットはリアルタイムの伴奏付きで人間のチームメイトのホモフォニー演奏に応答できます。
私たちが設計したフレームワークは、人間とロボットが芸術的なピアノ演奏タスクで協力して作業できるようにするのに効果的であることが検証されています。

要約(オリジナル)

Recent advances in machine learning have paved the way for the development of musical and entertainment robots. However, human-robot cooperative instrument playing remains a challenge, particularly due to the intricate motor coordination and temporal synchronization. In this paper, we propose a theoretical framework for human-robot cooperative piano playing based on non-verbal cues. First, we present a music improvisation model that employs a recurrent neural network (RNN) to predict appropriate chord progressions based on the human’s melodic input. Second, we propose a behavior-adaptive controller to facilitate seamless temporal synchronization, allowing the cobot to generate harmonious acoustics. The collaboration takes into account the bidirectional information flow between the human and robot. We have developed an entropy-based system to assess the quality of cooperation by analyzing the impact of different communication modalities during human-robot collaboration. Experiments demonstrate that our RNN-based improvisation can achieve a 93\% accuracy rate. Meanwhile, with the MPC adaptive controller, the robot could respond to the human teammate in homophony performances with real-time accompaniment. Our designed framework has been validated to be effective in allowing humans and robots to work collaboratively in the artistic piano-playing task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google