Influence of Solution Efficiency and Valence of Instruction on Additive and Subtractive Solution Strategies in Humans and GPT-4

要約

私たちは、人間と OpenAl の GPT-4 大規模言語モデルの両方の問題解決行動を調べる 4 つの事前登録実験を実施することで、初期状態や構造を変更するために要素を削除するよりも要素を追加することを好む認知傾向である追加バイアスを調査しました。
実験には米国からの588人の参加者が参加し、GPT-4モデルを680回反復した。
問題解決のタスクは、グリッド内に対称性を作成する (実験 1 と 3) か、概要を編集する (実験 2 と 4) ことでした。
仮説どおり、全体的に加算バイアスが存在することがわかりました。
解決の効率 (実験 1 と 2) と指示の価数 (実験 3 と 4) が重要な役割を果たしました。
人間の参加者は、加算と減算が同等に効率的である場合よりも、減算の方が相対的に効率的である場合には、加算的戦略を使用する可能性が低くなります。
GPT-4 は逆の挙動を示し、減算の方が効率的である場合に強い加算バイアスが発生しました。
命令価の観点から見ると、GPT-4は「編集」と比較して「改善」を求められた場合に単語を追加する可能性が高かったが、人間ではこの効果は見られなかった。
さまざまな条件下で追加の偏りを調べたところ、GPT-4 についてはヒトと比較してより偏った反応が見られました。
私たちの調査結果は、自分自身の、特に言語モデルの問題解決動作を再評価するだけでなく、比較可能な、場合によっては優れた減法的代替案を検討することの重要性を強調しています。

要約(オリジナル)

We explored the addition bias, a cognitive tendency to prefer adding elements over removing them to alter an initial state or structure, by conducting four preregistered experiments examining the problem-solving behavior of both humans and OpenAl’s GPT-4 large language model. The experiments involved 588 participants from the U.S. and 680 iterations of the GPT-4 model. The problem-solving task was either to create symmetry within a grid (Experiments 1 and 3) or to edit a summary (Experiments 2 and 4). As hypothesized, we found that overall, the addition bias was present. Solution efficiency (Experiments 1 and 2) and valence of the instruction (Experiments 3 and 4) played important roles. Human participants were less likely to use additive strategies when subtraction was relatively more efficient than when addition and subtraction were equally efficient. GPT-4 exhibited the opposite behavior, with a strong addition bias when subtraction was more efficient. In terms of instruction valence, GPT-4 was more likely to add words when asked to ‘improve’ compared to ‘edit’, whereas humans did not show this effect. When we looked at the addition bias under different conditions, we found more biased responses for GPT-4 compared to humans. Our findings highlight the importance of considering comparable and sometimes superior subtractive alternatives, as well as reevaluating one’s own and particularly the language models’ problem-solving behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google