Personality testing of GPT-3: Limited temporal reliability, but highlighted social desirability of GPT-3’s personality instruments results

要約

AI ボットは、人間に似た特性とユーザーに提供する親密さにより人気が高まり続けるにつれて、その社会的影響は必然的に拡大します。
このため、AI ボットを完全に理解し、その潜在的な機会、欠点、社会全体への影響を明らかにするための包括的な研究の必要性が高まっています。
これを念頭に置いて、この研究では、有名な AI ボットである ChatGPT3 について広範な調査を実施し、その性格プロファイルの時間的信頼性を評価することを目的としました。
心理学的アンケートが 2 回に分けてチャットボットに実施され、その後、人間の規範データに対する回答が比較されました。
その結果、時間の経過とともにチャットボットの応答におけるさまざまなレベルの一致が明らかになり、いくつかの尺度は優れた一致を示しましたが、他の尺度は不十分な一致を示しました。
全体として、Davinci-003 は、特に交わりの領域において、社会的に望ましい、向社会的な性格プロフィールを示しました。
しかし、チャットボットの応答の根本的な基盤は、意識的な内省によってもたらされるのか、あらかじめ決められたアルゴリズムによってもたらされるのかは、依然として不確かなままです。

要約(オリジナル)

As AI-bots continue to gain popularity due to their human-like traits and the intimacy they offer to users, their societal impact inevitably expands. This leads to the rising necessity for comprehensive studies to fully understand AI-bots and reveal their potential opportunities, drawbacks, and overall societal impact. With that in mind, this research conducted an extensive investigation into ChatGPT3, a renowned AI bot, aiming to assess the temporal reliability of its personality profile. Psychological questionnaires were administered to the chatbot on two separate occasions, followed by a comparison of the responses to human normative data. The findings revealed varying levels of agreement in chatbot’s responses over time, with some scales displaying excellent agreement while others demonstrated poor agreement. Overall, Davinci-003 displayed a socially desirable and pro-social personality profile, particularly in the domain of communion. However, the underlying basis of the chatbot’s responses-whether driven by conscious self reflection or predetermined algorithms-remains uncertain.

arxiv情報

著者 Bojana Bodroza,Bojana M. Dinic,Ljubisa Bojic
発行日 2023-12-15 06:26:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.HC パーマリンク