Assessing the nature of large language models: A caution against anthropocentrism

要約

OpenAI のチャットボットである ChatGPT のリリースにより、生成 AI モデルは大きな注目と憶測を集めました。
少なくとも 2 つの意見陣営が存在します。1 つは、これらのモデルが人間のタスクに根本的な変化をもたらす可能性に興奮しており、もう 1 つは、これらのモデルが持つ力について非常に懸念しています。
これらの懸念に対処するために、標準的、規範的、検証済みの認知および性格の尺度を使用して、いくつかの LLM (主に GPT 3.5) を評価しました。
この苗木プロジェクトでは、これらのモデルの機能の限界、それらの機能が短期間でどの程度安定しているか、人間との比較を可能にする一連のテストを開発しました。
私たちの結果は、LLMが人格の目録に反応する能力は興味深いものの、知覚力を発達させている可能性は低いことを示しています。
GPT3.5 は、繰り返しの観察により認知と性格の測定値の両方に大きな変動を示しましたが、これは人間のような性格を持っている場合には予​​想されませんでした。
ばらつきがあるにもかかわらず、LLMは、明るく有益な反応にもかかわらず、自尊心の低さ、現実からの顕著な乖離、場合によってはナルシシズムや精神病質など、人間では精神的健康状態が悪いと考えられる症状を示します。

要約(オリジナル)

Generative AI models garnered a large amount of public attention and speculation with the release of OpenAIs chatbot, ChatGPT. At least two opinion camps exist: one excited about possibilities these models offer for fundamental changes to human tasks, and another highly concerned about power these models seem to have. To address these concerns, we assessed several LLMs, primarily GPT 3.5, using standard, normed, and validated cognitive and personality measures. For this seedling project, we developed a battery of tests that allowed us to estimate the boundaries of some of these models capabilities, how stable those capabilities are over a short period of time, and how they compare to humans. Our results indicate that LLMs are unlikely to have developed sentience, although its ability to respond to personality inventories is interesting. GPT3.5 did display large variability in both cognitive and personality measures over repeated observations, which is not expected if it had a human-like personality. Variability notwithstanding, LLMs display what in a human would be considered poor mental health, including low self-esteem, marked dissociation from reality, and in some cases narcissism and psychopathy, despite upbeat and helpful responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google