Can Large Language Models Serve as Rational Players in Game Theory? A Systematic Analysis

要約

ゲーム理論は分析ツールとして、社会科学研究において人間の行動を分析するために頻繁に利用されます。
大規模言語モデル (LLM) と人間の動作は高度に一致しているため、有望な研究の方向性は、ゲーム実験で人間の代わりに LLM を採用し、社会科学研究を可能にすることです。
しかし、LLM とゲーム理論の組み合わせに関する多くの実証研究にもかかわらず、ゲーム理論における LLM の能力の限界は依然として不明瞭です。
この研究では、ゲーム理論の文脈で LLM を体系的に分析することに努めます。
具体的には、ゲーム理論の基本原理である合理性は、プレイヤーの行動、つまり明確な欲求を築き、不確実性についての信念を磨き、最適な行動を評価するための指標として機能します。
したがって、我々は 3 つの古典的なゲーム (独裁者ゲーム、ジャンケン、リングネットワーク ゲーム) を選択し、LLM がこれら 3 つの側面においてどの程度合理性を達成できるかを分析します。
実験結果は、現在の最先端の LLM (GPT-4) でさえ、ゲーム理論において人間と比較して大きな差異があることを示しています。
たとえば、LLM は、一般的でない好みに基づいて欲望を構築するのに苦労し、多くの単純なパターンから信念を洗練することができず、行動を起こすときに洗練された信念を見落としたり修正したりする可能性があります。
したがって、社会科学分野におけるゲーム実験への LLM の導入には、より慎重に取り組む必要があると考えます。

要約(オリジナル)

Game theory, as an analytical tool, is frequently utilized to analyze human behavior in social science research. With the high alignment between the behavior of Large Language Models (LLMs) and humans, a promising research direction is to employ LLMs as substitutes for humans in game experiments, enabling social science research. However, despite numerous empirical researches on the combination of LLMs and game theory, the capability boundaries of LLMs in game theory remain unclear. In this research, we endeavor to systematically analyze LLMs in the context of game theory. Specifically, rationality, as the fundamental principle of game theory, serves as the metric for evaluating players’ behavior — building a clear desire, refining belief about uncertainty, and taking optimal actions. Accordingly, we select three classical games (dictator game, Rock-Paper-Scissors, and ring-network game) to analyze to what extent LLMs can achieve rationality in these three aspects. The experimental results indicate that even the current state-of-the-art LLM (GPT-4) exhibits substantial disparities compared to humans in game theory. For instance, LLMs struggle to build desires based on uncommon preferences, fail to refine belief from many simple patterns, and may overlook or modify refined belief when taking actions. Therefore, we consider that introducing LLMs into game experiments in the field of social science should be approached with greater caution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google