Large Language Models Assume People are More Rational than We Really are

要約

AI システムが人々と効果的にコミュニケーションするには、人間がどのように意思決定を行うかを理解する必要があります。
ただし、人々の意思決定は常に合理的であるとは限らないため、大規模言語モデル (LLM) における人間の意思決定の暗黙的な内部モデルはこれを説明する必要があります。
これまでの経験的証拠は、これらの暗黙のモデルが正確であることを示唆しているようです。LLM は、人間の行動の信頼できる代理を提供し、日常のやり取りで人間が期待するとおりに動作します。
しかし、LLM の動作と予測を人間の意思決定の大規模なデータセットと比較すると、実際にはそうではないことがわかります。人々の選択をシミュレーションするときも予測するときも、最先端の LLM スイート (GPT-4o および 4-Turbo、
Llama-3-8B & 70B、Claude 3 Opus) は、人々は実際よりも合理的であると仮定しています。
具体的には、これらのモデルは人間の行動から逸脱しており、合理的な選択の古典的なモデル、つまり期待値理論により密接に一致しています。
興味深いことに、人は他人の行動を解釈する際に、他人が合理的であると想定する傾向もあります。
その結果、別の心理データセットを使用して、LLM と人々が他人の決定から導き出した推論を比較すると、これらの推論には高度な相関があることがわかります。
したがって、LLM の暗黙的な意思決定モデルは、人々が実際にどのように行動するかではなく、他の人々が合理的に行動するだろうという人間の期待と一致しているように見えます。

要約(オリジナル)

In order for AI systems to communicate effectively with people, they must understand how we make decisions. However, people’s decisions are not always rational, so the implicit internal models of human decision-making in Large Language Models (LLMs) must account for this. Previous empirical evidence seems to suggest that these implicit models are accurate — LLMs offer believable proxies of human behavior, acting how we expect humans would in everyday interactions. However, by comparing LLM behavior and predictions to a large dataset of human decisions, we find that this is actually not the case: when both simulating and predicting people’s choices, a suite of cutting-edge LLMs (GPT-4o & 4-Turbo, Llama-3-8B & 70B, Claude 3 Opus) assume that people are more rational than we really are. Specifically, these models deviate from human behavior and align more closely with a classic model of rational choice — expected value theory. Interestingly, people also tend to assume that other people are rational when interpreting their behavior. As a consequence, when we compare the inferences that LLMs and people draw from the decisions of others using another psychological dataset, we find that these inferences are highly correlated. Thus, the implicit decision-making models of LLMs appear to be aligned with the human expectation that other people will act rationally, rather than with how people actually act.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google