‘Correct answers’ from the psychology of artificial intelligence

要約

Many Labs 2 複製プロジェクト (Klein et al., 2018) からの 14 の心理学研究を、口語的に GPT3.5 として知られる OpenAI の text-davinci-003 モデルで再複製します。
分析できた 8 つの研究のうち、GPT サンプルは元の結果の 37.5% と Many Labs 2 の結果の 37.5% を複製しました。
「正解」効果と呼ばれる予期しない現象により、残りの 6 つの研究を分析できませんでした。
GPT3.5 のさまざまな実行では、政治的志向、経済的選好、判断、および道徳哲学を調査する微妙な質問に、応答の変動がゼロまたはほぼゼロで、おそらく「正しい答え」で答えました。
これらの「正しい答え」のすべてではありませんが、ほとんどは、答えの選択肢の順序を変更しても堅牢でした。
Moral Foundations Theory の調査 (Graham et al., 2009) で 1 つの例外が発生しました。GPT3.5 では、ほとんどの場合、元の状態では保守的 (N=1,030、99.6%) であり、逆の順序ではリベラルであると識別されました。
条件 (N = 1,030、99.3%)。
その後の質問に対するGPT3.5の回答は、事後的な合理化を明らかにしました。
以前に報告された政治的志向の方向性には相対的な偏りがありました。
しかし、自己申告のGPT保守派と自己申告のGPTリベラル派の両方が、右寄りのモラル基盤を明らかにしましたが、自己申告のGPTリベラル派の右寄りのバイアスは弱かった.
このパターンは、モデルの大部分がインターネット ベースのトレーニング データの保守的なバイアスから学習されたと仮定しています。
未来の AI モデルは GPT3.5 と同じインターネット データの多くでトレーニングされる可能性があるため、私たちの結果は、仮想的な AI 主導の未来は思考の多様性が減少する可能性があるという懸念を引き起こします。

要約(オリジナル)

We re-replicate 14 psychology studies from the Many Labs 2 replication project (Klein et al., 2018) with OpenAI’s text-davinci-003 model, colloquially known as GPT3.5. Among the eight studies we could analyse, our GPT sample replicated 37.5% of the original results and 37.5% of the Many Labs 2 results. We could not analyse the remaining six studies, due to an unexpected phenomenon we call the ‘correct answer’ effect. Different runs of GPT3.5 answered nuanced questions probing political orientation, economic preference, judgement, and moral philosophy with zero or near-zero variation in responses: with the supposedly ‘correct answer.’ Most but not all of these ‘correct answers’ were robust to changing the order of answer choices. One exception occurred in the Moral Foundations Theory survey (Graham et al., 2009), for which GPT3.5 almost always identified as a conservative in the original condition (N=1,030, 99.6%) and as a liberal in the reverse-order condition (N=1,030, 99.3%). GPT3.5’s responses to subsequent questions revealed post-hoc rationalisation; there was a relative bias in the direction of its previously reported political orientation. But both self-reported GPT conservatives and self-reported GPT liberals revealed right-leaning Moral Foundations, although the right-leaning bias of self-reported GPT liberals was weaker. We hypothesise that this pattern was learned from a conservative bias in the model’s largely Internet-based training data. Since AI models of the future may be trained on much of the same Internet data as GPT3.5, our results raise concerns that a hypothetical AI-led future may be subject to a diminished diversity of thought.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google