Learning to Play Piano in the Real World

要約

ロボットで人間レベルの操作を達成するという壮大な挑戦に向けて、ピアノを演奏することは、戦略的、正確、流れる動きを必要とする説得力のあるテストベッドです。
長年にわたり、いくつかの作品は、Real World Pianoの演奏に関する手描きのコントローラーを実証しましたが、他の作品はシミュレートされたピアノシナリオでロボット学習アプローチを評価しました。
この論文では、現実世界の器用なロボットに展開されながら学習アプローチを利用するロボットシステムを演奏する最初のピアノを開発します。
具体的には、SIM2REALを利用して、現実世界の器用なロボットに関する学習ポリシーを展開する前に、強化学習を使用してシミュレーションのポリシーをトレーニングします。
実験では、ドメインのランダム化とシミュレーションで使用されるダイナミクスモデルの精度との相互作用を徹底的に評価します。
さらに、学習ポリシーの一般化を研究するために、さまざまな複雑さで複数の曲にわたるロボットのパフォーマンスを評価します。
現実の世界でピアノを演奏することを学ぶことの概念の証明を提供することにより、私たちはコミュニティが人間レベルの操作に向けた魅力的なベンチマークとしてピアノ演奏を採用することを奨励したいと考えています。
https://lasr.org/research/learning-to-play-pianoでコードをオープンし、追加のビデオを表示します。

要約(オリジナル)

Towards the grand challenge of achieving human-level manipulation in robots, playing piano is a compelling testbed that requires strategic, precise, and flowing movements. Over the years, several works demonstrated hand-designed controllers on real world piano playing, while other works evaluated robot learning approaches on simulated piano scenarios. In this paper, we develop the first piano playing robotic system that makes use of learning approaches while also being deployed on a real world dexterous robot. Specifically, we make use of Sim2Real to train a policy in simulation using reinforcement learning before deploying the learned policy on a real world dexterous robot. In our experiments, we thoroughly evaluate the interplay between domain randomization and the accuracy of the dynamics model used in simulation. Moreover, we evaluate the robot’s performance across multiple songs with varying complexity to study the generalization of our learned policy. By providing a proof-of-concept of learning to play piano in the real world, we want to encourage the community to adopt piano playing as a compelling benchmark towards human-level manipulation. We open-source our code and show additional videos at https://lasr.org/research/learning-to-play-piano .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google