RoboPianist: Dexterous Piano Playing with Deep Reinforcement Learning

要約

人間のような器用さをロボットハンドで再現することは、ロボット工学における最大の未解決の問題の 1 つです。
強化学習は、ここ数年で目覚ましい進歩を遂げた有望なアプローチです。
ただし、これが一般的に扱っている問題の種類は、人間の能力と比較した場合の器用さのかなり狭い定義に対応しています。
このギャップに対処するために、私たちは、高次元の制御をテストする手段として、人間の器用さの限界にさえ挑戦するピアノ演奏を研究します。ピアノ演奏には、高い空間的および時間的精度、および複雑な指の調整と計画が必要です。
RoboPianist は、従来のモデルベースの最適化が困難な 150 曲のピアノ曲の広範なレパートリーを擬人化した手を学習できるようにするシステムです。
さらに、オープンソース環境、タスクのベンチマーク、解釈可能な評価指標、将来の研究のための未解決の課題も紹介します。
ビデオ、コード、データセットを紹介する当社の Web サイトは、https://kzakka.com/robopianist/ から入手できます。

要約(オリジナル)

Replicating human-like dexterity in robot hands represents one of the largest open problems in robotics. Reinforcement learning is a promising approach that has achieved impressive progress in the last few years; however, the class of problems it has typically addressed corresponds to a rather narrow definition of dexterity as compared to human capabilities. To address this gap, we investigate piano-playing, a skill that challenges even the human limits of dexterity, as a means to test high-dimensional control, and which requires high spatial and temporal precision, and complex finger coordination and planning. We introduce RoboPianist, a system that enables simulated anthropomorphic hands to learn an extensive repertoire of 150 piano pieces where traditional model-based optimization struggles. We additionally introduce an open-sourced environment, benchmark of tasks, interpretable evaluation metrics, and open challenges for future study. Our website featuring videos, code, and datasets is available at https://kzakka.com/robopianist/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google