On the Role of the Action Space in Robot Manipulation Learning and Sim-to-Real Transfer

要約

ロボット操作学習とシミュレーションから現実への転移における行動空間の選択について研究します。
私たちはパフォーマンスを評価する指標を定義し、さまざまなアクション空間で新たな特性を調べます。
私たちは、13 の異なる制御空間を使用して、シミュレートされたリーチおよびプッシュ タスクで 250 を超える強化学習 (RL) エージェントをトレーニングします。
アクション スペースの選択は、文献で一般的な選択だけでなく、一般的なデザイン特性の新しい組み合わせにも及びます。
シミュレーションでのトレーニングのパフォーマンスと現実世界の環境への移行を評価します。
私たちはロボットの行動空間の良い点と悪い点を特定し、将来の設計に向けた提案を行います。
私たちの発見は、ロボット操作タスクの RL アルゴリズムの設計に重要な意味を持ち、現実世界のロボット工学向けに RL エージェントをトレーニングおよび転送する際には、アクション スペースを慎重に考慮する必要があることを強調しています。

要約(オリジナル)

We study the choice of action space in robot manipulation learning and sim-to-real transfer. We define metrics that assess the performance, and examine the emerging properties in the different action spaces. We train over 250 reinforcement learning~(RL) agents in simulated reaching and pushing tasks, using 13 different control spaces. The choice of action spaces spans popular choices in the literature as well as novel combinations of common design characteristics. We evaluate the training performance in simulation and the transfer to a real-world environment. We identify good and bad characteristics of robotic action spaces and make recommendations for future designs. Our findings have important implications for the design of RL algorithms for robot manipulation tasks, and highlight the need for careful consideration of action spaces when training and transferring RL agents for real-world robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google