Comparative Analysis of Multi-Agent Reinforcement Learning Policies for Crop Planning Decision Support

要約

インドでは、農民の大半は小規模または限界に分類されており、市場の飽和と気候のリスクにより、生計が経済的損失に対して特に脆弱になっています。
効果的な作物計画は予想される収入に大きな影響を与える可能性がありますが、既存の意思決定支援システム（DSS）は、多くの場合、リアルタイム市場のダイナミクスと複数の農家間の相互作用を考慮していない一般的な推奨事項を提供します。
この論文では、総農家収入を最適化し、作物計画の公平性を促進するための3つのマルチエージェント補強学習（MARL）アプローチの実行可能性を評価します：独立Qラーニング（IQL）。
-Agent（ABA）は、他の農家に関連して各農家のポリシーを順次最適化し、グローバルな報酬のためのすべての農民の行動を共同で最適化するマルチエージェントロールアウトポリシーを順番に最適化する
最大化。
私たちの結果は、IQLが線形ランタイムで計算効率を提供する一方で、エージェント間の調整に苦労し、総報酬の低下と収入の不平等な分布につながることを示しています。
逆に、マルチエージェントロールアウトポリシーは、最高の総報酬を達成し、農家間の公平な収入分布を促進しますが、大量の計算リソースを必要とし、多数のエージェントでは実用的ではありません。
ABAは、ランタイムの効率と報酬の最適化のバランスをとっており、許容可能な公平性とスケーラビリティを備えた合理的な合計報酬を提供します。
これらの調査結果は、DSSで適切なMARLアプローチを選択して、パーソナライズされた公平な作物計画の推奨事項を提供し、より適応的で農民中心の農業意思決定システムの開発を進めることの重要性を強調しています。

要約(オリジナル)

In India, the majority of farmers are classified as small or marginal, making their livelihoods particularly vulnerable to economic losses due to market saturation and climate risks. Effective crop planning can significantly impact their expected income, yet existing decision support systems (DSS) often provide generic recommendations that fail to account for real-time market dynamics and the interactions among multiple farmers. In this paper, we evaluate the viability of three multi-agent reinforcement learning (MARL) approaches for optimizing total farmer income and promoting fairness in crop planning: Independent Q-Learning (IQL), where each farmer acts independently without coordination, Agent-by-Agent (ABA), which sequentially optimizes each farmer’s policy in relation to the others, and the Multi-agent Rollout Policy, which jointly optimizes all farmers’ actions for global reward maximization. Our results demonstrate that while IQL offers computational efficiency with linear runtime, it struggles with coordination among agents, leading to lower total rewards and an unequal distribution of income. Conversely, the Multi-agent Rollout policy achieves the highest total rewards and promotes equitable income distribution among farmers but requires significantly more computational resources, making it less practical for large numbers of agents. ABA strikes a balance between runtime efficiency and reward optimization, offering reasonable total rewards with acceptable fairness and scalability. These findings highlight the importance of selecting appropriate MARL approaches in DSS to provide personalized and equitable crop planning recommendations, advancing the development of more adaptive and farmer-centric agricultural decision-making systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google