Universal Morphology Control via Contextual Modulation

要約

さまざまなロボットの形態にまたがる普遍的なポリシーを学習することで、学習効率と連続制御における一般化を大幅に改善できます。
ただし、最適なポリシーはロボット間で大きく異なり、形態に大きく依存する可能性があるため、マルチタスク強化学習の問題を提起します。
既存の方法では、グラフ ニューラル ネットワークまたはトランスフォーマーを利用して、さまざまな形態にまたがる異種の状態およびアクション空間を処理しますが、形態コンテキストに対するロボットの制御ポリシーの依存性にはほとんど注意を払っていません。
この論文では、コンテキスト変調を介してこの依存関係をより適切にモデル化するための階層アーキテクチャを提案します。これには、2 つの主要なサブモジュールが含まれます。
(2) ロボットの異なる手足間の相互作用を調節する形態依存の注意メカニズムを提案します。
実験結果は、私たちの方法が多様なトレーニングロボットのセットでの学習パフォーマンスを向上させるだけでなく、ゼロショット方式で目に見えない形態をよりよく一般化することも示しています。

要約(オリジナル)

Learning a universal policy across different robot morphologies can significantly improve learning efficiency and generalization in continuous control. However, it poses a challenging multi-task reinforcement learning problem, as the optimal policy may be quite different across robots and critically depend on the morphology. Existing methods utilize graph neural networks or transformers to handle heterogeneous state and action spaces across different morphologies, but pay little attention to the dependency of a robot’s control policy on its morphology context. In this paper, we propose a hierarchical architecture to better model this dependency via contextual modulation, which includes two key submodules: (1) Instead of enforcing hard parameter sharing across robots, we use hypernetworks to generate morphology-dependent control parameters; (2) We propose a morphology-dependent attention mechanism to modulate the interactions between different limbs in a robot. Experimental results show that our method not only improves learning performance on a diverse set of training robots, but also generalizes better to unseen morphologies in a zero-shot fashion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google