Modular Recurrence in Contextual MDPs for Universal Morphology Control

要約

ロボットの形態のユニバーサルコントローラーは、計算効率とデータ効率を大幅に改善します。
個々のロボットの特性に関するコンテキスト情報を利用し、深い補強学習エージェントのアーキテクチャでモジュラー構造を活用することにより、マルチロボット制御に向けてステップがなされました。
しかし、目に見えない新しいロボットへの一般化は依然として課題です。
この論文では、関連するコンテキスト情報は部分的に観察可能であるが、トレーニング中に見られないコンテキストへのより良い一般化のために相互作用を通じて推測できると仮定します。
この程度まで、モジュール式再発アーキテクチャを実装し、ムホコロロボットの大規模なセットでその一般化パフォーマンスを評価します。
結果は、4つの異なる環境で、目に見えないダイナミクス、運動学、およびトポロジを備えたロボットのパフォーマンスが大幅に向上したことを示しています。

要約(オリジナル)

A universal controller for any robot morphology would greatly improve computational and data efficiency. By utilizing contextual information about the properties of individual robots and exploiting their modular structure in the architecture of deep reinforcement learning agents, steps have been made towards multi-robot control. Generalization to new, unseen robots, however, remains a challenge. In this paper we hypothesize that the relevant contextual information is partially observable, but that it can be inferred through interactions for better generalization to contexts that are not seen during training. To this extent, we implement a modular recurrent architecture and evaluate its generalization performance on a large set of MuJoCo robots. The results show a substantial improved performance on robots with unseen dynamics, kinematics, and topologies, in four different environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google