Efficient and Diverse Generative Robot Designs using Evolution and Intrinsic Motivation

要約

ロボットの物理的構成のジェネレーティブ デザインの手法を使用すると、複雑な環境での困難なタスクに対する最適かつ革新的なソリューションを自動的に見つけることができます。
広大な検索空間には物理設計空間とコントローラー パラメーター空間が含まれるため、一般に機械学習と最適化において困難な問題となります。
進化的アルゴリズム (EA) は、勾配のない最適化によるロボット設計の生成において有望な結果を示しています。
Morpho-evolution with learning (MEL) は、EA を使用してロボット設計を生成し、コントローラーの最適なパラメーターを学習します。
計算コストと次善の設計への時期尚早な収束という 2 つの主な問題により、MEL をより複雑なタスクに拡張することができません。
これらの問題に対処するために、形態進化と内発的動機づけを組み合わせることを提案します。
内発的に動機付けられた行動は、外部からの指導がなくても、具体化と単純な学習ルールから生じます。
私たちは、ロボットの設計に関する知識が少なくても、数秒で探索行動を生成するホメオキネティック コントローラーを使用しています。
ホメオキネシスはコストのかかる学習フェーズを置き換え、計算時間を短縮し、多様性を優先して早期の収束を防ぎます。
いくつかの下流タスクにおいて、私たちのアプローチを現在の MEL メソッドと比較します。
生成されたデザインは、静的パラメーターを使用した形態進化と比較して、すべてのタスクでスコアが高く、多様性が高く、迅速に生成されます。

要約(オリジナル)

Methods for generative design of robot physical configurations can automatically find optimal and innovative solutions for challenging tasks in complex environments. The vast search-space includes the physical design-space and the controller parameter-space, making it a challenging problem in machine learning and optimisation in general. Evolutionary algorithms (EAs) have shown promising results in generating robot designs via gradient-free optimisation. Morpho-evolution with learning (MEL) uses EAs to concurrently generate robot designs and learn the optimal parameters of the controllers. Two main issues prevent MEL from scaling to higher complexity tasks: computational cost and premature convergence to sub-optimal designs. To address these issues, we propose combining morpho-evolution with intrinsic motivations. Intrinsically motivated behaviour arises from embodiment and simple learning rules without external guidance. We use a homeokinetic controller that generates exploratory behaviour in a few seconds with reduced knowledge of the robot’s design. Homeokinesis replaces costly learning phases, reducing computational time and favouring diversity, preventing premature convergence. We compare our approach with current MEL methods in several downstream tasks. The generated designs score higher in all the tasks, are more diverse, and are quickly generated compared to morpho-evolution with static parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google