Optimal foraging strategies can be learned

要約

動物の採食行動は、自然界における目標探索のパラダイムである。どの採餌戦略が最適なのか、また動物はどのように学習するのかを理解することは、動物の採餌をモデル化する上での中心的な課題である。最適性の問題は経済学、物理学、生態学など幅広い分野に影響を及ぼすが、学習可能性の問題は進化生物学で現在進行中の議論である。本研究では、これらの課題が相互に関連していることを認識し、強化学習の枠組みを通して最適な採餌戦略を探索することで、これらの課題に同時に取り組む。この目的のために、我々は採食者を学習エージェントとしてモデル化する。まず、我々の強化学習モデルにおいて報酬を最大化することは、採餌効率を最適化することと等価であることを理論的に証明する。次に、非破壊探索のパラダイムモデルにおいて、我々のエージェントが採餌戦略を学習し、L’evy walkのような最もよく知られた戦略の効率を上回ることを数値実験により示す。これらの結果は、探索戦略を最適化するだけでなく、学習過程をモデル化するための汎用的なフレームワークとしての強化学習の可能性を浮き彫りにし、自然な最適化過程における学習の役割に光を当てるものである。

要約(オリジナル)

The foraging behavior of animals is a paradigm of target search in nature. Understanding which foraging strategies are optimal and how animals learn them are central challenges in modeling animal foraging. While the question of optimality has wide-ranging implications across fields such as economy, physics, and ecology, the question of learnability is a topic of ongoing debate in evolutionary biology. Recognizing the interconnected nature of these challenges, this work addresses them simultaneously by exploring optimal foraging strategies through a reinforcement learning framework. To this end, we model foragers as learning agents. We first prove theoretically that maximizing rewards in our reinforcement learning model is equivalent to optimizing foraging efficiency. We then show with numerical experiments that, in the paradigmatic model of non-destructive search, our agents learn foraging strategies which outperform the efficiency of some of the best known strategies such as L\’evy walks. These findings highlight the potential of reinforcement learning as a versatile framework not only for optimizing search strategies but also to model the learning process, thus shedding light on the role of learning in natural optimization processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL