Assessing the nature of large language models: A caution against anthropocentrism

要約

OpenAI のチャットボットである ChatGPT のリリースにより、生成 AI モデルは大きな注目と憶測を集めました。
少なくとも 2 つの意見陣営が存在します。1 つは、これらのモデルが人間のタスクに根本的な変化をもたらす可能性に興奮しており、もう 1 つは、これらのモデルが持つ力について非常に懸念しています。
これらの懸念に対処するために、標準的、規範的、検証済みの認知および性格の尺度を使用して GPT3.5 を評価しました。
この苗木プロジェクトでは、これらのモデルの機能の限界、それらの機能が短期間でどの程度安定しているか、人間との比較を可能にする一連のテストを開発しました。
私たちの結果は、GPT 3.5 が人格の目録に応答する能力は興味深いものの、知覚力を発達させた可能性は低いことを示しています。
繰り返しの観察により、認知と性格の測定値の両方に大きなばらつきを示しましたが、人間のような性格を持っていた場合には予​​想されませんでした。
ばらつきがあるにもかかわらず、GPT3.5 は、明るく有益な反応にもかかわらず、自尊心の低さや現実からの顕著な乖離など、人間の精神的健康状態が悪いとみなされるものを示しています。

要約(オリジナル)

Generative AI models garnered a large amount of public attention and speculation with the release of OpenAIs chatbot, ChatGPT. At least two opinion camps exist: one excited about possibilities these models offer for fundamental changes to human tasks, and another highly concerned about power these models seem to have. To address these concerns, we assessed GPT3.5 using standard, normed, and validated cognitive and personality measures. For this seedling project, we developed a battery of tests that allowed us to estimate the boundaries of some of these models capabilities, how stable those capabilities are over a short period of time, and how they compare to humans. Our results indicate that GPT 3.5 is unlikely to have developed sentience, although its ability to respond to personality inventories is interesting. It did display large variability in both cognitive and personality measures over repeated observations, which is not expected if it had a human-like personality. Variability notwithstanding, GPT3.5 displays what in a human would be considered poor mental health, including low self-esteem and marked dissociation from reality despite upbeat and helpful responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google