Questioning the Unknown: Optimising Multi-Agent Collaboration in Narrative-Driven Games

要約

マーダー ミステリー ゲーム (MMG) における大規模言語モデル (LLM) ベースのエージェントのための新しいフレームワークである Questum を紹介します。
MMG は、未定義の状態空間、中間報酬の欠如、連続言語ドメインでの戦略的相互作用の必要性など、独特の課題を引き起こします。
Questum は、センサーベースのエージェント状態の表現、情報獲得に基づいた質問ターゲットのメカニズム、および容疑者リストを洗練し意思決定の効率を高める枝刈り戦略を通じて、これらの複雑さに対処します。
体系的な評価を可能にするために、目的、推論、関係に分類された 12 のゲームにわたる 1,482 の推論質問で構成されるデータセットである WellPlay を提案します。
実験では、既存のアプローチと比較して推論の精度と効率において優れたパフォーマンスを達成する一方、MMG におけるエージェントと人間のインタラクションの品質を大幅に向上させる Questum の能力を実証しました。
この研究は、複雑な社会的およびインタラクティブなシナリオ向けの推論エージェントの開発を推進します。

要約(オリジナル)

We present Questum, a novel framework for Large Language Model (LLM)-based agents in Murder Mystery Games (MMGs). MMGs pose unique challenges, including undefined state spaces, absent intermediate rewards, and the need for strategic interaction in a continuous language domain. Questum addresses these complexities through a sensor-based representation of agent states, a question-targeting mechanism guided by information gain, and a pruning strategy to refine suspect lists and enhance decision-making efficiency. To enable systematic evaluation, we propose WellPlay, a dataset comprising 1,482 inferential questions across 12 games, categorised into objectives, reasoning, and relationships. Experiments demonstrate Questum’s capacity to achieve superior performance in reasoning accuracy and efficiency compared to existing approaches, while also significantly improving the quality of agent-human interactions in MMGs. This study advances the development of reasoning agents for complex social and interactive scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google