Who Speaks Next? Multi-party AI Discussion Leveraging the Systematics of Turn-taking in Murder Mystery Games

要約

大規模言語モデル (LLM) を利用したマルチエージェント システムは、自然な対話を実現する上で大きな期待を集めています。
しかし、エージェント間の円滑な対話制御や自律的な意思決定には依然として課題が残されています。
本研究では、会話分析で見られる隣接関係ペアや交代などの会話規範に焦点を当て、これらの規範をAIエージェントの対話制御に適用する新たなフレームワーク「マーダーミステリーエージェント」を提案する。
評価対象としては、複雑な社会的推理や情報操作を必要とする推理型テーブルトークロールプレイングゲーム「マーダーミステリー」を採用した。
このゲームでは、プレイヤーは断片的な情報をもとに、協力や駆け引きをしながら事件の真相を解明していく必要があります。
提案されたフレームワークは、隣接ペアに基づく次の話者の選択と、より自然で戦略的な対話を実現するためにエージェントの内部状態を考慮した自己選択メカニズムを統合します。
この新たなアプローチの有効性を検証するため、対話破綻に至った発話を分析し、LLMを用いた自動評価と、マーダーミステリーゲーム用に開発した評価基準を用いた人的評価を実施しました。
実験結果では、次の話者選択メカニズムの実装により、対話の破綻が大幅に減少し、エージェントの情報共有と論理的推論の実行能力が向上することが示されました。
この研究の結果は、人間の会話における順番交代の体系化が AI エージェント間の対話の制御にも効果的であることを実証し、より高度なマルチエージェント対話システムの設計ガイドラインを提供します。

要約(オリジナル)

Multi-agent systems utilizing large language models (LLMs) have shown great promise in achieving natural dialogue. However, smooth dialogue control and autonomous decision making among agents still remain challenges. In this study, we focus on conversational norms such as adjacency pairs and turn-taking found in conversation analysis and propose a new framework called ‘Murder Mystery Agents’ that applies these norms to AI agents’ dialogue control. As an evaluation target, we employed the ‘Murder Mystery’ game, a reasoning-type table-top role-playing game that requires complex social reasoning and information manipulation. In this game, players need to unravel the truth of the case based on fragmentary information through cooperation and bargaining. The proposed framework integrates next speaker selection based on adjacency pairs and a self-selection mechanism that takes agents’ internal states into account to achieve more natural and strategic dialogue. To verify the effectiveness of this new approach, we analyzed utterances that led to dialogue breakdowns and conducted automatic evaluation using LLMs, as well as human evaluation using evaluation criteria developed for the Murder Mystery game. Experimental results showed that the implementation of the next speaker selection mechanism significantly reduced dialogue breakdowns and improved the ability of agents to share information and perform logical reasoning. The results of this study demonstrate that the systematics of turn-taking in human conversation are also effective in controlling dialogue among AI agents, and provide design guidelines for more advanced multi-agent dialogue systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google