Towards Multi-Morphology Controllers with Diversity and Knowledge Distillation

要約

機械学習の他の分野における基礎モデルによる最近の進歩と同様に、複数の形態にわたって適切に動作するコントローラーを見つけることは、大規模ロボット工学にとって重要なマイルストーンです。
しかし、複数の形態を制御するために単一のコントローラーを学習するという課題により、この分野では「1 ロボット 1 タスク」パラダイムが主流になっています。
これらの課題を軽減するために、(1) MAP-Elites のような品質多様性アルゴリズムを活用して、多数の単一タスク/単一形態教師コントローラーのデータセットを作成し、(2) それらの多様なコントローラーを単一のマルチに蒸留するパイプラインを提示します。
-教師あり学習を介して教師コントローラーの感覚動作パターンを模倣することにより、多くの異なるボディプランにわたって良好に機能する形態コントローラー。
抽出されたコントローラーは、教師/形態の数に合わせて適切に拡張され、新たなプロパティを示します。
目に見えない形態をゼロショット方式で一般化し、形態の摂動に対する堅牢性と即時のダメージ回復を実現します。
最後に、蒸留されたコントローラーは教師コントローラーからも独立しています。教師の知識を任意のコントローラー モデルに蒸留することができ、教師コントローラーのアーキテクチャの改善や既存のトレーニング アルゴリズムと相乗効果のあるアプローチになります。

要約(オリジナル)

Finding controllers that perform well across multiple morphologies is an important milestone for large-scale robotics, in line with recent advances via foundation models in other areas of machine learning. However, the challenges of learning a single controller to control multiple morphologies make the `one robot one task’ paradigm dominant in the field. To alleviate these challenges, we present a pipeline that: (1) leverages Quality Diversity algorithms like MAP-Elites to create a dataset of many single-task/single-morphology teacher controllers, then (2) distills those diverse controllers into a single multi-morphology controller that performs well across many different body plans by mimicking the sensory-action patterns of the teacher controllers via supervised learning. The distilled controller scales well with the number of teachers/morphologies and shows emergent properties. It generalizes to unseen morphologies in a zero-shot manner, providing robustness to morphological perturbations and instant damage recovery. Lastly, the distilled controller is also independent of the teacher controllers — we can distill the teacher’s knowledge into any controller model, making our approach synergistic with architectural improvements and existing training algorithms for teacher controllers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google