Leveraging Human Feedback to Evolve and Discover Novel Emergent Behaviors in Robot Swarms

要約

ロボットの群れは、観察するのが興味深い創発的な行動を示すことがよくあります。
ただし、特定のエージェント機能のセットの下でどのような群れの動作が現れるかを予測することは、多くの場合困難です。
私たちは人間の入力を効率的に活用して、どのような行動が興味深いか、あるいはどのような行動が可能であるかを人間が事前に知る必要がなく、特定のマルチエージェント システムから出現する可能性のある集団行動の分類を自動的に発見することを目指しています。
私たちが提案するアプローチは、自己教師あり学習と人間参加型クエリを使用して、群れの集団行動に対する類似性空間を学習することで、ユーザーの好みに適応します。
学習した類似性メトリクスを新規性検索およびクラスタリングと組み合わせて、可能性のある群れ行動の空間を探索および分類します。
また、興味深い創発的な動作につながる可能性が高いロボット コントローラーを優先することで、新規性検索の効率を向上させるいくつかの汎用ヒューリスティックも提案します。
2 つのロボット機能モデルのシミュレーションで私たちのアプローチをテストし、私たちの方法が以前の研究よりも豊富な一連の創発的動作を一貫して発見することを示します。
コード、ビデオ、データセットは https://sites.google.com/view/EVOLUVOLATION-NOVEL-Swarms で入手できます。

要約(オリジナル)

Robot swarms often exhibit emergent behaviors that are fascinating to observe; however, it is often difficult to predict what swarm behaviors can emerge under a given set of agent capabilities. We seek to efficiently leverage human input to automatically discover a taxonomy of collective behaviors that can emerge from a particular multi-agent system, without requiring the human to know beforehand what behaviors are interesting or even possible. Our proposed approach adapts to user preferences by learning a similarity space over swarm collective behaviors using self-supervised learning and human-in-the-loop queries. We combine our learned similarity metric with novelty search and clustering to explore and categorize the space of possible swarm behaviors. We also propose several general-purpose heuristics that improve the efficiency of our novelty search by prioritizing robot controllers that are likely to lead to interesting emergent behaviors. We test our approach in simulation on two robot capability models and show that our methods consistently discover a richer set of emergent behaviors than prior work. Code, videos, and datasets are available at https://sites.google.com/view/evolving-novel-swarms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google