Exploring Large Language Models for Word Games:Who is the Spy?

要約

ワードゲームは、ルールベースの状況的性質のために、自然言語処理（NLP）、ゲーム理論、および関連分野の重要な研究価値を保持しています。
この研究では、単語ゲームに大規模な言語モデル（LLM）がどのように効果的に関与できるかを調査し、トレーニングのないフレームワークを提案しています。
「Shei shi wo di」または「誰がスパイであるか」は、古典的な単語ゲームです。
このゲームを例として使用して、LLMが役割単語の推測やアイデンティティの偽装などのタスクで優れたパフォーマンスを実現できるようにするために、チェーンオブ考え（COT）ベースのスケジューリングフレームワークを紹介します。
ゲームの成功率とLLMエージェントの分析結果の精度に基づいて、フレームワークのパフォーマンスを評価します。
実験結果は、フレームワークの有効性を確認し、複数のデータセットでLLMパフォーマンスの顕著な改善を示しています。
この作業は、構造化されたゲーム環境内での状況推論と社会的相互作用をマスターする際のLLMの可能性を強調しています。
私たちのコードは、https://github.com/ct-wei/who-is-the-spyで公開されています。

要約(オリジナル)

Word games hold significant research value for natural language processing (NLP), game theory, and related fields due to their rule-based and situational nature. This study explores how large language models (LLMs) can be effectively involved in word games and proposes a training-free framework. ‘Shei Shi Wo Di’ or ‘Who is the Spy’ in English, is a classic word game. Using this game as an example, we introduce a Chain-of-Thought (CoT)-based scheduling framework to enable LLMs to achieve excellent performance in tasks such as inferring role words and disguising their identities. We evaluate the framework’s performance based on game success rates and the accuracy of the LLM agents’ analytical results. Experimental results affirm the framework’s effectiveness, demonstrating notable improvements in LLM performance across multiple datasets. This work highlights the potential of LLMs in mastering situational reasoning and social interactions within structured game environments. Our code is publicly available at https://github.com/ct-wei/Who-is-The-Spy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google