The Good, the Bad, and the Hulk-like GPT: Analyzing Emotional Decisions of Large Language Models in Cooperation and Bargaining Games

要約

行動研究実験は、社会をモデル化し、人間の相互作用を理解する上で重要な部分を占めています。
実際には、人間のユーザー研究における社会的相互作用と協力の複雑さにより、多くの行動実験は内部的および外部的妥当性、再現性、および社会的偏見に関連する課題に直面します。
大規模言語モデル (LLM) の最近の進歩により、人間の行動をシミュレーションするための新しい有望なツールが研究者に提供されました。
しかし、既存の LLM ベースのシミュレーションは、LLM エージェントが人間と同様に動作するだけでなく、人間の意思決定における重要な要素である感情を無視しているという証明されていない仮説に基づいて動作します。
この論文では、LLM の意思決定と感情状態における人間の行動との整合性の両方を研究するための新しい方法論とフレームワークを紹介します。
行動ゲーム理論の 2 つの異なるクラスの 4 つのゲームに対する GPT-3.5 と GPT-4 の実験では、感情が LLM のパフォーマンスに大きく影響し、より最適な戦略の開発につながることが示されました。
GPT-3.5 と人間の参加者の行動反応には強い一致があり、特に交渉ゲームで顕著ですが、GPT-4 は合理性の決定のために誘発された感情を無視して一貫した行動を示します。
驚くべきことに、感情的な刺激、特に「怒り」の感情は、人間の感情反応に似た GPT-4 の「超人的」な調整を乱す可能性があります。

要約(オリジナル)

Behavior study experiments are an important part of society modeling and understanding human interactions. In practice, many behavioral experiments encounter challenges related to internal and external validity, reproducibility, and social bias due to the complexity of social interactions and cooperation in human user studies. Recent advances in Large Language Models (LLMs) have provided researchers with a new promising tool for the simulation of human behavior. However, existing LLM-based simulations operate under the unproven hypothesis that LLM agents behave similarly to humans as well as ignore a crucial factor in human decision-making: emotions. In this paper, we introduce a novel methodology and the framework to study both, the decision-making of LLMs and their alignment with human behavior under emotional states. Experiments with GPT-3.5 and GPT-4 on four games from two different classes of behavioral game theory showed that emotions profoundly impact the performance of LLMs, leading to the development of more optimal strategies. While there is a strong alignment between the behavioral responses of GPT-3.5 and human participants, particularly evident in bargaining games, GPT-4 exhibits consistent behavior, ignoring induced emotions for rationality decisions. Surprisingly, emotional prompting, particularly with `anger’ emotion, can disrupt the ‘superhuman’ alignment of GPT-4, resembling human emotional responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google