AdaSociety: An Adaptive Environment with Social Structures for Multi-Agent Decision-Making

要約

従来の対話型環境では、固定タスクによるエージェントの知能の向上が制限されます。
最近では、シングル エージェント環境では、エージェントのアクションに基づいて新しいタスクを生成し、タスクの多様性を高めることでこの問題に対処しています。
私たちは、タスクが社会的つながりによってさらに影響を受け、報酬や情報アクセスに影響を及ぼす、マルチエージェント設定における意思決定の問題を検討します。
しかし、既存のマルチエージェント環境には、適応的な物理的環境と社会的つながりの組み合わせが欠けており、知的な行動の学習が妨げられています。
これに対処するために、明示的かつ変更可能な社会構造とともに、拡張する状態およびアクション空間を特徴とするカスタマイズ可能なマルチエージェント環境である AdaSociety を導入します。
エージェントが進歩するにつれて、環境はエージェントが引き受けるべき社会構造を備えた新しいタスクを適応的に生成します。
AdaSociety では、異なる社会構造とタスクを紹介する 3 つのミニゲームを開発しています。
初期の結果は、特定の社会構造が個人と集団の両方の利益を促進できることを示していますが、現在の強化学習と LLM ベースのアルゴリズムは、社会構造を活用してパフォーマンスを向上させる効果が限られていることが示されています。
全体として、AdaSociety は、さまざまな物理的および社会的環境におけるインテリジェンスを探索するための貴重な研究プラットフォームとして機能します。
コードは https://github.com/bigai-ai/AdaSociety で入手できます。

要約(オリジナル)

Traditional interactive environments limit agents’ intelligence growth with fixed tasks. Recently, single-agent environments address this by generating new tasks based on agent actions, enhancing task diversity. We consider the decision-making problem in multi-agent settings, where tasks are further influenced by social connections, affecting rewards and information access. However, existing multi-agent environments lack a combination of adaptive physical surroundings and social connections, hindering the learning of intelligent behaviors. To address this, we introduce AdaSociety, a customizable multi-agent environment featuring expanding state and action spaces, alongside explicit and alterable social structures. As agents progress, the environment adaptively generates new tasks with social structures for agents to undertake. In AdaSociety, we develop three mini-games showcasing distinct social structures and tasks. Initial results demonstrate that specific social structures can promote both individual and collective benefits, though current reinforcement learning and LLM-based algorithms show limited effectiveness in leveraging social structures to enhance performance. Overall, AdaSociety serves as a valuable research platform for exploring intelligence in diverse physical and social settings. The code is available at https://github.com/bigai-ai/AdaSociety.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google