Adaptive patch foraging in deep reinforcement learning agents

要約

タイトル：深層強化学習エージェントにおける適応的パッチ採集

要約：

– パッチ採集は、生物学における最も重要な行動の最適化の課題の1つであり、その最適解が既知であるため、AI研究においても重要である。
– 深層強化学習エージェントを用いて、生態学的なパッチ採集タスクを調査した結果、機械学習エージェントが、生物学的な採餌者に似たパターンで適応的にパッチ採集を学習し、時間割引を考慮することで最適なパッチ採集行動に近づくことができることが初めて示された。
– 最後に、これらのエージェントには生物学的採餌者からの単細胞記録に似た内部ダイナミクスが発生し、生物学的採餌の神経機構に関する実験的および理論的な研究を補完することが示された。
– この研究は、複雑な環境で相互作用するエージェントが、生物学的採餌と人工的採餌の両方における適応的で知的な行動の背後にある基礎的な計算の出現を示唆する。

要約(オリジナル)

Patch foraging is one of the most heavily studied behavioral optimization challenges in biology. However, despite its importance to biological intelligence, this behavioral optimization problem is understudied in artificial intelligence research. Patch foraging is especially amenable to study given that it has a known optimal solution, which may be difficult to discover given current techniques in deep reinforcement learning. Here, we investigate deep reinforcement learning agents in an ecological patch foraging task. For the first time, we show that machine learning agents can learn to patch forage adaptively in patterns similar to biological foragers, and approach optimal patch foraging behavior when accounting for temporal discounting. Finally, we show emergent internal dynamics in these agents that resemble single-cell recordings from foraging non-human primates, which complements experimental and theoretical work on the neural mechanisms of biological foraging. This work suggests that agents interacting in complex environments with ecologically valid pressures arrive at common solutions, suggesting the emergence of foundational computations behind adaptive, intelligent behavior in both biological and artificial agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI