A comparison of controller architectures and learning mechanisms for arbitrary robot morphologies

要約

この論文が扱う主な質問は、学習ロボットの形態が事前にわかっていない場合、ロボット コントローラーと学習方法のどのような組み合わせを使用する必要があるかということです。
私たちの関心は、形態学的に進化するモジュール式ロボットという文脈に根ざしていますが、この質問は、広く適用可能なソリューションに関心のあるシステム設計者にとっても一般的なものです。
私たちは、コントローラーと学習者の 3 つの組み合わせの実験比較を行います。1 つはコントローラーが動物の運動のモデリング (セントラル パターン ジェネレーター、CPG) に基づいており、学習者が進化アルゴリズムであるアプローチで、もう 1 つは強化学習 (RL) を使用するまったく異なる方法です。
ニューラル ネットワーク コントローラー アーキテクチャと、コントローラーがニューラル ネットワークで学習者が進化的アルゴリズムである「中間」の組み合わせです。
これら 3 つの組み合わせをモジュール式ロボットのテスト スイートに適用し、その有効性、効率、堅牢性を比較します。
驚くべきことに、通常の CPG ベースと RL ベースのオプションは、他の 2 つのセットアップよりも堅牢で効率的な中間の組み合わせの方が優れたパフォーマンスを発揮します。

要約(オリジナル)

The main question this paper addresses is: What combination of a robot controller and a learning method should be used, if the morphology of the learning robot is not known in advance? Our interest is rooted in the context of morphologically evolving modular robots, but the question is also relevant in general, for system designers interested in widely applicable solutions. We perform an experimental comparison of three controller-and-learner combinations: one approach where controllers are based on modelling animal locomotion (Central Pattern Generators, CPG) and the learner is an evolutionary algorithm, a completely different method using Reinforcement Learning (RL) with a neural network controller architecture, and a combination `in-between’ where controllers are neural networks and the learner is an evolutionary algorithm. We apply these three combinations to a test suite of modular robots and compare their efficacy, efficiency, and robustness. Surprisingly, the usual CPG-based and RL-based options are outperformed by the in-between combination that is more robust and efficient than the other two setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google