SOTOPIA-Ω: Dynamic Strategy Injection Learning and Social Instrucion Following Evaluation for Social Agents

要約

人間によって所有されている以前の社会的戦略が豊富にあるにもかかわらず、彼らの移転と社会的エージェントへの統合に特化した研究の不足が残っています。
提案されているソトピア – {\ omega}フレームワークは、言語エージェントの社会的能力を高めることに特に焦点を当てて、このギャップに対処し、橋渡しすることを目的としています。
このフレームワークは、交渉理論に触発されたマルチステップ推論戦略を動的に注入し、2つの単純な直接的な戦略を専門家エージェントに入れ、それによって高品質の社会的対話訓練コーパスの構築を自動化します。
さらに、フォロー（S-IF）の社会的指導の概念を紹介し、社会的能力を補完する2つの新しいS-IF評価メトリックを提案します。
高品質のコーパスで訓練されたいくつかの7Bモデルが、社会的目標を達成する際に専門家（GPT-4）を大幅に上回るだけでなく、S-IFパフォーマンスを強化することを実証します。
分析とバリアント実験は、動的構造の利点を検証します。これは、特にエージェントの長期にわたるデッドロックを壊す可能性があります。

要約(オリジナル)

Despite the abundance of prior social strategies possessed by humans, there remains a paucity of research dedicated to their transfer and integration into social agents. Our proposed SOTOPIA-{\Omega} framework aims to address and bridge this gap, with a particular focus on enhancing the social capabilities of language agents. This framework dynamically injects multi-step reasoning strategies inspired by negotiation theory, along with two simple direct strategies, into expert agents, thereby automating the construction of high-quality social dialogue training corpus. Additionally, we introduce the concept of Social Instruction Following (S-IF) and propose two new S-IF evaluation metrics that are complementary to social capability. We demonstrate that several 7B models trained on high-quality corpus not only significantly surpass the expert agent (GPT-4) in achieving social goals but also enhance S-IF performance. Analysis and variant experiments validate the advantages of dynamic construction, which can especially break the agent’s prolonged deadlock.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google