Generative Agents for Multi-Agent Autoformalization of Interaction Scenarios

要約

マルチエージェントシミュレーションは、自然および人工薬剤間の相互作用を調査するための汎用性の高いツールですが、通常、その開発にはドメインの専門知識と手動の努力が必要です。
この作業では、マルチエージェントオートフォーマル化（GAMA）フレームワークの生成エージェントを紹介します。これは、大規模な言語モデル（LLM）で拡張されたエージェントを使用して、シミュレーションの相互作用シナリオの形式化を自動化します。
GAMAの適用を実証するために、ソーシャルインタラクションを表すゲーム理論シナリオの自然言語記述を使用し、それらを実行可能なロジックプログラムに自動形式化し、ゲームルールを定義します。
ランタイムの妥当性を確保するために、反復的なトーナメントベースの手順により、生成されたルールと戦略をテストし、その後、グラウンドトゥルースの結果が利用可能な場合に正確な意味検証が行われます。
5つの2×2の同時ムーブゲームにわたる110の自然言語記述を使用した実験では、GamaはClaude 3.5 Sonnetで100％の構文と76.5％のセマンティック正しさを達成し、GPT-4oで99.82％の構文とセマンティックの正しさを達成します。
また、このフレームワークは、自動形式化エージェントの戦略における高い意味精度を示しています。

要約(オリジナル)

Multi-agent simulations are versatile tools for exploring interactions among natural and artificial agents, but their development typically demands domain expertise and manual effort. This work introduces the Generative Agents for Multi-Agent Autoformalization (GAMA) framework, which automates the formalization of interaction scenarios in simulations using agents augmented with large language models (LLMs). To demonstrate the application of GAMA, we use natural language descriptions of game-theoretic scenarios representing social interactions, and we autoformalize them into executable logic programs defining game rules, with syntactic correctness enforced through a solver-based validation. To ensure runtime validity, an iterative, tournament-based procedure tests the generated rules and strategies, followed by exact semantic validation when ground truth outcomes are available. In experiments with 110 natural language descriptions across five 2×2 simultaneous-move games, GAMA achieves 100% syntactic and 76.5% semantic correctness with Claude 3.5 Sonnet, and 99.82% syntactic and 77% semantic correctness with GPT-4o. The framework also shows high semantic accuracy in autoformalizing agents’ strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google