Time to Talk: LLM Agents for Asynchronous Group Communication in Mafia Games

要約

LLMは、主に同期通信で使用され、人間のユーザーとモデルが交互ターンで通信します。
対照的に、多くの現実世界の設定は本質的に非同期です。
たとえば、グループチャット、オンラインチームミーティング、またはソーシャルゲームでは、ターンという固有の概念はありません。
したがって、いつ話すかの決定は、参加者の意思決定の重要な部分を形成します。
この作業では、適応的な非同期LLMエージェントを開発します。これは、何を言うかを決定することに加えて、いつ言うかを決定します。
エージェントを評価するために、人間の参加者と非同期エージェントの両方を含むオンラインマフィアゲームの一意のデータセットを収集します。
全体として、私たちのエージェントは、ゲームのパフォーマンスの両方で、また他の人間のプレイヤーと融合する能力の両方で、人間のプレイヤーと同等のパフォーマンスを発揮します。
私たちの分析は、メッセージコンテンツに違いが生じるものの、いつ話すかを決定する際のエージェントの行動が人間のパターンを密接に反映していることを示しています。
すべてのデータとコードをリリースして、LLMエージェント間のより現実的な非同期コミュニケーションのためのさらなる研究をサポートおよび奨励します。
この作業は、チームの議論の支援から、複雑な社会的ダイナミクスをナビゲートする必要がある教育的および専門的な環境まで、LLMを現実的な人間のグループ設定に統合する方法を舗装します。

要約(オリジナル)

LLMs are used predominantly in synchronous communication, where a human user and a model communicate in alternating turns. In contrast, many real-world settings are inherently asynchronous. For example, in group chats, online team meetings, or social games, there is no inherent notion of turns; therefore, the decision of when to speak forms a crucial part of the participant’s decision making. In this work, we develop an adaptive asynchronous LLM-agent which, in addition to determining what to say, also decides when to say it. To evaluate our agent, we collect a unique dataset of online Mafia games, including both human participants, as well as our asynchronous agent. Overall, our agent performs on par with human players, both in game performance, as well as in its ability to blend in with the other human players. Our analysis shows that the agent’s behavior in deciding when to speak closely mirrors human patterns, although differences emerge in message content. We release all our data and code to support and encourage further research for more realistic asynchronous communication between LLM agents. This work paves the way for integration of LLMs into realistic human group settings, from assistance in team discussions to educational and professional environments where complex social dynamics must be navigated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google