Long-Horizon Dialogue Understanding for Role Identification in the Game of Avalon with Large Language Models

要約

複数の関係者間の長期的な対話では、特に参加者の利益、目標、動機が一致していない場合、欺瞞と説得が重要な役割を果たします。
このような複雑なタスクは、特に長期にわたる多者間の対話において、欺瞞や説得が容易に誤解を招く可能性があるため、現在の大規模言語モデル (LLM) に課題をもたらします。
この目的を達成するために、プレイヤーがチームの目的を達成するためにお互いの隠された正体を判断しなければならない社会的推理ゲーム、Avalon: The Resistance のゲームを調査します。
私たちは、オンライン テストベッドと、協力と競争の環境で長期的な欺瞞を示す、人間のプレイヤー間で慎重に収集されラベル付けされた 20 のゲームを含むデータセットを紹介します。
私たちは、6 人の人間プレイヤー間の欺瞞的な長期的な会話を利用して、各プレイヤーの目標と動機を決定する LLM の機能について説明します。
特に、プレイヤー間のチャットと会話の基礎となるゲームの状態のマルチモーダルな統合について説明し、真のプレイヤーのアイデンティティについてのさらなる洞察を提供します。
現在の最先端の LLM でさえ人間のパフォーマンスには達しないことがわかっており、私たちのデータセットは、LLM の意思決定および言語処理能力を調査するための説得力のあるベンチマークとなっています。
私たちのデータセットとオンライン テストベッドは、プロジェクトの Web サイトで見つけることができます: https://sstepput.github.io/Avalon-NLU/

要約(オリジナル)

Deception and persuasion play a critical role in long-horizon dialogues between multiple parties, especially when the interests, goals, and motivations of the participants are not aligned. Such complex tasks pose challenges for current Large Language Models (LLM) as deception and persuasion can easily mislead them, especially in long-horizon multi-party dialogues. To this end, we explore the game of Avalon: The Resistance, a social deduction game in which players must determine each other’s hidden identities to complete their team’s objective. We introduce an online testbed and a dataset containing 20 carefully collected and labeled games among human players that exhibit long-horizon deception in a cooperative-competitive setting. We discuss the capabilities of LLMs to utilize deceptive long-horizon conversations between six human players to determine each player’s goal and motivation. Particularly, we discuss the multimodal integration of the chat between the players and the game’s state that grounds the conversation, providing further insights into the true player identities. We find that even current state-of-the-art LLMs do not reach human performance, making our dataset a compelling benchmark to investigate the decision-making and language-processing capabilities of LLMs. Our dataset and online testbed can be found at our project website: https://sstepput.github.io/Avalon-NLU/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google