Do Large Language Models Show Decision Heuristics Similar to Humans? A Case Study Using GPT-3.5

要約

タイトル：
Do Large Language Models Show Decision Heuristics Similar to Humans? A Case Study Using GPT-3.5

要約：
1. LLMは自然言語データに基づいて学習したAIシステムで、人間のような反応を生成することができる。
2. GPT-3.5は、会話エージェントであるChatGPTをサポートするLLMの一例である。
3. 本研究では、ChatGPTが彼ら的、バイアス、および他の意思決定効果を示すかどうかを判断するために、一連の新しいプロンプトを使用した。
4. また、同じプロンプトを人間の参加者にもテストした。
5. 4つの研究にわたって、ChatGPTは、推定を行う際にランダムなアンカーに影響を受けた（アンカリングヒューリスティック、研究1）。
6. ChatGPTは、2つのイベントが共に発生する可能性を、どちらかが単独で発生する可能性よりも高く評価し、顕著な逸話的な情報に誤って影響を受けた（類似性と可用性ヒューリスティック、研究2）。
7. 特徴が肯定的に提示された場合と否定的に提示された場合に関係なく同じ情報が含まれていても、ChatGPTはアイテムをより効果的だと評価する傾向があった（フレーミング効果、研究3）。
8. ChatGPTは、同じであるにもかかわらず所有されたアイテムを新たに見つかったアイテムよりも重視する傾向があった（エンドウメント効果、研究4）。
9. 各研究で、人間の参加者も同様の効果を示した。
10. 彼ら的および関連する意思決定効果は、損失回避や努力削減などの認知的および情動的プロセスによって人間に駆動されると考えられている。
11. これらのプロセスを欠くLLMがこのような効果を示すことは、言語が人間のこのような効果を生成する上で役割を果たす可能性を示唆している。

要約(オリジナル)

A Large Language Model (LLM) is an artificial intelligence system that has been trained on vast amounts of natural language data, enabling it to generate human-like responses to written or spoken language input. GPT-3.5 is an example of an LLM that supports a conversational agent called ChatGPT. In this work, we used a series of novel prompts to determine whether ChatGPT shows heuristics, biases, and other decision effects. We also tested the same prompts on human participants. Across four studies, we found that ChatGPT was influenced by random anchors in making estimates (Anchoring Heuristic, Study 1); it judged the likelihood of two events occurring together to be higher than the likelihood of either event occurring alone, and it was erroneously influenced by salient anecdotal information (Representativeness and Availability Heuristic, Study 2); it found an item to be more efficacious when its features were presented positively rather than negatively – even though both presentations contained identical information (Framing Effect, Study 3); and it valued an owned item more than a newly found item even though the two items were identical (Endowment Effect, Study 4). In each study, human participants showed similar effects. Heuristics and related decision effects in humans are thought to be driven by cognitive and affective processes such as loss aversion and effort reduction. The fact that an LLM – which lacks these processes – also shows such effects invites consideration of the possibility that language may play a role in generating these effects in humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI