Playing the Werewolf game with artificial intelligence for language understanding

要約

人狼ゲームは、自由な自然言語コミュニケーションに基づいた社会的推理ゲームで、プレイヤーは生き残るために他人を欺こうとします。
このゲームの重要な特徴は、会話の大部分が誤った情報であり、そのような状況での人工知能 (AI) の動作は広く調査されていないことです。
この研究の目的は、自然言語会話を通じて狼男を演じることができる AI エージェントを開発することです。
まず、15 人の人間のプレイヤーからゲーム ログを収集しました。
次に、Transformer ベースの事前トレーニング済み言語モデルを微調整して、ゲームの任意のフェーズでゲームに勝つ事後確率を予測し、次のアクションの候補を与えることができるバリュー ネットワークを構築しました。
次に、人間と対話し、バリュー ネットワークからの確率に基づいて最適な投票対象を選択できる AI エージェントを開発しました。
最後に、実際に人間のプレイヤーとゲームをプレイして、エージェントのパフォーマンスを評価しました。
私たちの AI エージェントである Deep Wolf は、村人または裏切り者の役割で平均的な人間のプレイヤーと同じくらい競争力のある Werewolf をプレイできることがわかりましたが、Deep Wolf は、狼男または先見者の役割で人間のプレイヤーよりも劣っていました。
これらの結果は、現在の言語モデルが、他の人が言っていることを推測したり、嘘をついたり、会話で嘘を検出したりする能力を持っていることを示唆しています。

要約(オリジナル)

The Werewolf game is a social deduction game based on free natural language communication, in which players try to deceive others in order to survive. An important feature of this game is that a large portion of the conversations are false information, and the behavior of artificial intelligence (AI) in such a situation has not been widely investigated. The purpose of this study is to develop an AI agent that can play Werewolf through natural language conversations. First, we collected game logs from 15 human players. Next, we fine-tuned a Transformer-based pretrained language model to construct a value network that can predict a posterior probability of winning a game at any given phase of the game and given a candidate for the next action. We then developed an AI agent that can interact with humans and choose the best voting target on the basis of its probability from the value network. Lastly, we evaluated the performance of the agent by having it actually play the game with human players. We found that our AI agent, Deep Wolf, could play Werewolf as competitively as average human players in a villager or a betrayer role, whereas Deep Wolf was inferior to human players in a werewolf or a seer role. These results suggest that current language models have the capability to suspect what others are saying, tell a lie, or detect lies in conversations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google