Controller Distillation Reduces Fragile Brain-Body Co-Adaptation and Enables Migrations in MAP-Elites

要約

脳体共同最適化は、脳が特定の身体に対して過剰に専門化され、他の人にうまく移動する能力を妨げる壊れやすい共染色に苦しんでいます。
進化的アルゴリズムは、このような低いパフォーマンスのソリューションを破棄する傾向があり、有望な形態を排除します。
ニッチな記述子が形態学的特徴に基づいているMAP-ELITEを適用することを検討した以前の研究は、形態学的空間をよりよく検索することを促進しました。
この作業では、このアプローチは依然として壊れやすい共適応に苦しんでいることを示しています。マップエリートのコアメカニズムが、あるニッチから別のニッチに移動するソリューションを通して踏み石を作成することが混乱していることを示します。
この混乱は、子孫を新しい形態学的ニッチに移動させる身体変異がロボットの脆弱な脳体の共適応を破壊し、したがってそれらの潜在的なソリューションのパフォーマンスを大幅に減少させ、その新しいニッチで既存のエリートを補償する可能性を低下させるために発生することを示唆しています。
私たちは、特定のソリューションのコントローラーを蒸留コントローラーに定期的に置き換えて、形態を越えてより良い一般化を行い、壊れやすい脳体の共適応を減らし、したがってMAP-ELITESの移動を促進するテクニックを利用して、受粉と呼びます。
受粉は、身体変異の成功と移動の数を増加させ、品質二流の指標を改善します。
Map-Elitesが使用されている他のドメインに適用できる重要な洞察を開発すると考えています。

要約(オリジナル)

Brain-body co-optimization suffers from fragile co-adaptation where brains become over-specialized for particular bodies, hindering their ability to transfer well to others. Evolutionary algorithms tend to discard such low-performing solutions, eliminating promising morphologies. Previous work considered applying MAP-Elites, where niche descriptors are based on morphological features, to promote better search over morphology space. In this work, we show that this approach still suffers from fragile co-adaptation: where a core mechanism of MAP-Elites, creating stepping stones through solutions that migrate from one niche to another, is disrupted. We suggest that this disruption occurs because the body mutations that move an offspring to a new morphological niche break the robots’ fragile brain-body co-adaptation and thus significantly decrease the performance of those potential solutions — reducing their likelihood of outcompeting an existing elite in that new niche. We utilize a technique, we call Pollination, that periodically replaces the controllers of certain solutions with a distilled controller with better generalization across morphologies to reduce fragile brain-body co-adaptation and thus promote MAP-Elites migrations. Pollination increases the success of body mutations and the number of migrations, resulting in better quality-diversity metrics. We believe we develop important insights that could apply to other domains where MAP-Elites is used.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google