AdaSociety: An Adaptive Environment with Social Structures for Multi-Agent Decision-Making

要約

従来のインタラクティブ環境は、固定されたタスクを伴うエージェントのインテリジェンスの成長を制限します。
最近、シングルエージェント環境は、エージェントアクションに基づいて新しいタスクを生成し、タスクの多様性を高めることにより、これに対処します。
マルチエージェント設定での意思決定の問題を検討します。ここでは、タスクはソーシャル接続の影響をさらに受け、報酬と情報アクセスに影響を与えます。
ただし、既存のマルチエージェント環境には、適応的な物理的環境と社会的つながりの組み合わせがなく、インテリジェントな行動の学習を妨げています。
これに対処するために、明示的で変更可能な社会構造とともに、拡張状態および行動スペースを特徴とするカスタマイズ可能なマルチエージェント環境であるAdasocietyを紹介します。
エージェントが進むにつれて、環境は、エージェントが引き受けるための社会構造を備えた新しいタスクを適応的に生成します。
Adasocietyでは、明確な社会構造とタスクを紹介する3つのミニゲームを開発します。
初期の結果は、特定の社会構造が個人的および集団的利益の両方を促進できることを示していますが、現在の強化学習とLLMベースのアルゴリズムは、パフォーマンスを向上させるために社会構造を活用する上で限られた効果を示しています。
全体として、Adasocietyは、多様な物理的および社会的環境で知性を探索するための貴重な研究プラットフォームとして機能します。
このコードは、https：//github.com/bigai-ai/adasocietyで入手できます。

要約(オリジナル)

Traditional interactive environments limit agents’ intelligence growth with fixed tasks. Recently, single-agent environments address this by generating new tasks based on agent actions, enhancing task diversity. We consider the decision-making problem in multi-agent settings, where tasks are further influenced by social connections, affecting rewards and information access. However, existing multi-agent environments lack a combination of adaptive physical surroundings and social connections, hindering the learning of intelligent behaviors. To address this, we introduce AdaSociety, a customizable multi-agent environment featuring expanding state and action spaces, alongside explicit and alterable social structures. As agents progress, the environment adaptively generates new tasks with social structures for agents to undertake. In AdaSociety, we develop three mini-games showcasing distinct social structures and tasks. Initial results demonstrate that specific social structures can promote both individual and collective benefits, though current reinforcement learning and LLM-based algorithms show limited effectiveness in leveraging social structures to enhance performance. Overall, AdaSociety serves as a valuable research platform for exploring intelligence in diverse physical and social settings. The code is available at https://github.com/bigai-ai/AdaSociety.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google