RoboPianist: Dexterous Piano Playing with Deep Reinforcement Learning

要約

ロボットの手に人間のような器用さを再現することは、ロボット工学における最大の未解決問題の一つである。強化学習は有望なアプローチであり、ここ数年で目覚ましい進歩を遂げている。しかし、強化学習が一般的に扱う問題のクラスは、人間の能力と比較して、器用さの定義がかなり狭いことに対応している。このギャップを解決するために、我々は、高次元の制御をテストする手段として、人間の器用さの限界にさえ挑戦するスキルであり、高い空間的・時間的精度、複雑な指の協調と計画を必要とするピアノ演奏を調査する。我々は、ロボピアニスト（RoboPianist）を紹介する。このシステムは、シミュレートされた擬人化された手が、従来のモデルベース最適化では困難であった150曲のピアノ曲の広範なレパートリーを学習することを可能にする。さらに、オープンソースの環境、タスクのベンチマーク、解釈可能な評価指標、今後の研究のためのオープンな課題についても紹介します。ビデオ、コード、データセットを掲載したウェブサイトは、https://kzakka.com/robopianist/。

要約(オリジナル)

Replicating human-like dexterity in robot hands represents one of the largest open problems in robotics. Reinforcement learning is a promising approach that has achieved impressive progress in the last few years; however, the class of problems it has typically addressed corresponds to a rather narrow definition of dexterity as compared to human capabilities. To address this gap, we investigate piano-playing, a skill that challenges even the human limits of dexterity, as a means to test high-dimensional control, and which requires high spatial and temporal precision, and complex finger coordination and planning. We introduce RoboPianist, a system that enables simulated anthropomorphic hands to learn an extensive repertoire of 150 piano pieces where traditional model-based optimization struggles. We additionally introduce an open-sourced environment, benchmark of tasks, interpretable evaluation metrics, and open challenges for future study. Our website featuring videos, code, and datasets is available at https://kzakka.com/robopianist/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL