Environmental effects on emergent strategy in micro-scale multi-agent reinforcement learning

要約

マルチエージェント強化学習 (MARL) は、マイクロロボットのサブセットである微小粒子の効率的な制御を実現するための有望な候補です。
しかし、微視的な粒子の環境には、十分に小さな長さスケールでのブラウン運動などの特有の課題があります。
この研究では、マイクロスケール環境の現実的な表現として粒子ベースのランジュバン分子動力学シミュレーションを使用して、MARL システムにおける戦略の出現と有効性における温度の役割を調査します。
この目的を達成するために、異なる温度の顕微鏡環境で 2 つの異なるマルチエージェント タスクの実験を実行し、濃度勾配の発生源とロッドの回転を検出します。
より高い温度では、RL エージェントがこれらのタスクを達成するための新しい戦略を特定し、この体制を理解することの重要性を強調し、シミュレーションと現実の間の一般化ギャップを埋めるための最適なトレーニング戦略への洞察を提供することがわかりました。
また、結果に伴い、強化学習 (RL) を使用して微細なエージェントを研究するための新しい Python パッケージも紹介します。

要約(オリジナル)

Multi-Agent Reinforcement Learning (MARL) is a promising candidate for realizing efficient control of microscopic particles, of which micro-robots are a subset. However, the microscopic particles’ environment presents unique challenges, such as Brownian motion at sufficiently small length-scales. In this work, we explore the role of temperature in the emergence and efficacy of strategies in MARL systems using particle-based Langevin molecular dynamics simulations as a realistic representation of micro-scale environments. To this end, we perform experiments on two different multi-agent tasks in microscopic environments at different temperatures, detecting the source of a concentration gradient and rotation of a rod. We find that at higher temperatures, the RL agents identify new strategies for achieving these tasks, highlighting the importance of understanding this regime and providing insight into optimal training strategies for bridging the generalization gap between simulation and reality. We also introduce a novel Python package for studying microscopic agents using reinforcement learning (RL) to accompany our results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google