Predator-prey survival pressure is sufficient to evolve swarming behaviors

要約

地球規模の集団行動において局所的な相互作用がどのように生じるかを理解することは、生物学的研究と物理的研究の両方において最も重要です。
従来のエージェントベースのモデルは静的なルールに依存することが多く、生物界の動的な戦略を捉えることができません。
強化学習が解決策として提案されていますが、これまでの手法のほとんどは、集団行動の出現を暗黙的または明示的に促す手作りの報酬関数を採用していました。
この研究では、混合協力-競争マルチエージェント強化学習に基づいた最小限の捕食者-被食者共進化フレームワークを提案し、基本的な生存圧力のみに基づく報酬関数を採用します。つまり、被食者は$-1$の報酬を受け取ります。
捕食者が捕食者に捕まった場合、捕食者は $+1$ の報酬を受け取ります。
驚くべきことに、このアプローチの分析により、獲物の群れや旋回行動、捕食者の分散戦術、混乱、限界捕食現象など、獲物と捕食者の両方の創発行動の予想外に豊富な多様性が明らかになりました。
全体として、私たちの研究は生物の集団行動に関する新たな洞察を提供し、群れロボット工学における潜在的な応用を強調しています。

要約(オリジナル)

The comprehension of how local interactions arise in global collective behavior is of utmost importance in both biological and physical research. Traditional agent-based models often rely on static rules that fail to capture the dynamic strategies of the biological world. Reinforcement learning has been proposed as a solution, but most previous methods adopt handcrafted reward functions that implicitly or explicitly encourage the emergence of swarming behaviors. In this study, we propose a minimal predator-prey coevolution framework based on mixed cooperative-competitive multiagent reinforcement learning, and adopt a reward function that is solely based on the fundamental survival pressure, that is, prey receive a reward of $-1$ if caught by predators while predators receive a reward of $+1$. Surprisingly, our analysis of this approach reveals an unexpectedly rich diversity of emergent behaviors for both prey and predators, including flocking and swirling behaviors for prey, as well as dispersion tactics, confusion, and marginal predation phenomena for predators. Overall, our study provides novel insights into the collective behavior of organisms and highlights the potential applications in swarm robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google