RP1M: A Large-Scale Motion Dataset for Piano Playing with Bi-Manual Dexterous Robot Hands

要約

ロボットの手に人間レベルの器用さを与えることは、長年の研究目標であった。
両手ロボットによるピアノ演奏は、高速かつ正確な動作の生成などの動的タスクからの課題と、ゆっくりではあるが接触の多い操作の問題を組み合わせたタスクを構成します。
強化学習ベースのアプローチは、単一タスクのパフォーマンスでは有望な結果を示していますが、これらの方法は複数の曲の設定では困難です。
私たちの研究は、このギャップを埋め、それによって大規模なロボットピアノ演奏の模倣学習アプローチを可能にすることを目的としています。
この目的を達成するために、100 万を超える軌跡の両手ロボット ピアノ演奏モーション データを含む Robot Piano 1 Million (RP1M) データセットを導入します。
私たちは指の配置を最適なトランスポート問題として定式化し、ラベルのない膨大な量の曲への自動注釈付けを可能にします。
既存の模倣学習アプローチをベンチマークすると、そのようなアプローチは RP1M を活用することで最先端のロボットピアノ演奏パフォーマンスに到達できることがわかります。

要約(オリジナル)

It has been a long-standing research goal to endow robot hands with human-level dexterity. Bi-manual robot piano playing constitutes a task that combines challenges from dynamic tasks, such as generating fast while precise motions, with slower but contact-rich manipulation problems. Although reinforcement learning based approaches have shown promising results in single-task performance, these methods struggle in a multi-song setting. Our work aims to close this gap and, thereby, enable imitation learning approaches for robot piano playing at scale. To this end, we introduce the Robot Piano 1 Million (RP1M) dataset, containing bi-manual robot piano playing motion data of more than one million trajectories. We formulate finger placements as an optimal transport problem, thus, enabling automatic annotation of vast amounts of unlabeled songs. Benchmarking existing imitation learning approaches shows that such approaches reach state-of-the-art robot piano playing performance by leveraging RP1M.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google