Language Models Trained to do Arithmetic Predict Human Risky and Intertemporal Choice

要約

人間と大規模言語モデル (LLM) の動作で観察された類似点により、研究者は LLM を人間の認知モデルとして使用する可能性を検討するようになりました。
ただし、LLM が正当に認知モデルと見なされる前に、いくつかの重要な課題に対処する必要があります。
たとえば、LLM は人間が通常遭遇するよりもはるかに多くのデータでトレーニングされており、特定の認知タスクで人間のデータに基づいて直接トレーニングされたり、人間の好みに合わせたりした可能性があります。
したがって、これらの行動の類似性の起源はよく理解されていません。
この論文では、認知モデルとしての LLM の有用性を高める新しい方法を提案します。
このアプローチには、(i) LLM と合理的エージェントの両方が認知問題を解決するために習得する必要がある計算上同等のタスクを活用すること、(ii) LLM が人間のような行動を示すために必要な特定のタスクの分布を調べることが含まれます。
我々は、このアプローチを意思決定、特に危険で異時点間の選択に適用します。この場合、重要な計算上同等のタスクは期待値の計算です。
私たちは、生態学的に有効な算術データセットで事前訓練された LLM (Arithmetic-GPT と呼ばれます) が、多くの従来の認知モデルよりも人間の行動をより正確に予測することを示します。
これらのモデルと人間の意思決定との間に強力な対応関係を生成するには、生態学的に有効な算術データセットで LLM を事前トレーニングするだけで十分です。
我々の結果はまた、認知モデルとして使用されるLLMは、事前トレーニングデータのアブレーション研究を通じて慎重に調査されるべきであることを示唆しています。

要約(オリジナル)

The observed similarities in the behavior of humans and Large Language Models (LLMs) have prompted researchers to consider the potential of using LLMs as models of human cognition. However, several significant challenges must be addressed before LLMs can be legitimately regarded as cognitive models. For instance, LLMs are trained on far more data than humans typically encounter, and may have been directly trained on human data in specific cognitive tasks or aligned with human preferences. Consequently, the origins of these behavioral similarities are not well understood. In this paper, we propose a novel way to enhance the utility of LLMs as cognitive models. This approach involves (i) leveraging computationally equivalent tasks that both an LLM and a rational agent need to master for solving a cognitive problem and (ii) examining the specific task distributions required for an LLM to exhibit human-like behaviors. We apply this approach to decision-making — specifically risky and intertemporal choice — where the key computationally equivalent task is the arithmetic of expected value calculations. We show that an LLM pretrained on an ecologically valid arithmetic dataset, which we call Arithmetic-GPT, predicts human behavior better than many traditional cognitive models. Pretraining LLMs on ecologically valid arithmetic datasets is sufficient to produce a strong correspondence between these models and human decision-making. Our results also suggest that LLMs used as cognitive models should be carefully investigated via ablation studies of the pretraining data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google