Universal Morphology Control via Contextual Modulation

要約

異なるロボットの形態を横断して普遍的な方針を学習することで、連続制御における学習効率と汎化性を大幅に向上させることができる。しかし、最適な方針はロボットによって全く異なる可能性があり、また形態に決定的に依存するため、マルチタスク強化学習問題は困難である。既存の手法では、グラフニューラルネットワークや変換器を利用して、異なる形態間の異種状態空間や行動空間を扱っているが、ロボットの制御方針がその形態コンテキストに依存することにはほとんど注意を払っていない。(1)ロボット間でハードなパラメータ共有を強制する代わりに、ハイパーネットワークを用いて形態に依存した制御パラメータを生成する。(2)ロボットの異なる手足間の相互作用を変調するために、形態のみに依存する固定注意メカニズムを提案する。実験結果は、我々の方法が、多様な訓練用ロボットのセットにおいて学習性能を向上させるだけでなく、ゼロショット方式で未知の形態に対してより良く汎化することを示している。

要約(オリジナル)

Learning a universal policy across different robot morphologies can significantly improve learning efficiency and generalization in continuous control. However, it poses a challenging multi-task reinforcement learning problem, as the optimal policy may be quite different across robots and critically depend on the morphology. Existing methods utilize graph neural networks or transformers to handle heterogeneous state and action spaces across different morphologies, but pay little attention to the dependency of a robot’s control policy on its morphology context. In this paper, we propose a hierarchical architecture to better model this dependency via contextual modulation, which includes two key submodules: (1) Instead of enforcing hard parameter sharing across robots, we use hypernetworks to generate morphology-dependent control parameters; (2) We propose a fixed attention mechanism that solely depends on the morphology to modulate the interactions between different limbs in a robot. Experimental results show that our method not only improves learning performance on a diverse set of training robots, but also generalizes better to unseen morphologies in a zero-shot fashion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL