Behind the Screen: Investigating ChatGPT’s Dark Personality Traits and Conspiracy Beliefs

要約

ChatGPT は、その不透明な動作で有名です。
この論文は、GPT-3.5 と GPT-4 の暗い性格特性と陰謀論の信念を詳細に分析し、これに光を当てようとしています。
ダークファクターテスト、マッハIVスケール、一般陰謀信念スケール、陰謀精神スケールなど、さまざまな心理テストとアンケートが使用されました。
GPT-3.5 と GPT-4 の違いを調査するために、平均スコア、標準偏差、および有意性検定を計算して応答を分析しました。
人間の研究で相互依存していることが示された形質については、相関関係が考慮されました。
さらに、対応するアンケートで明確な回答行動を示したグループに対応するシステムの役割を適用して、これらの役割に関連する特性を応答に反映するモデルの能力を調べました。
暗い性格特性と陰謀論の信念はどちらのモデルでも特に顕著ではなく、GPT-3.5 と GPT-4 ではほとんど違いがありませんでした。
しかし、GPT-4 は情報の差し控えを信じる顕著な傾向を示しました。
GPT-4 が GPT-3.5 よりも大幅に大きなデータセットでトレーニングされていることを考えると、これは特に興味深いです。
明らかに、この場合、データの露出の増加は、情報の管理に対する信頼の高まりと相関しています。
極端な政治的所属の割り当てにより、陰謀論への信念が高まりました。
テストの順序付けは、モデルの応答と観察された相関関係に影響を及ぼし、文脈記憶の一種であることを示しています。

要約(オリジナル)

ChatGPT is notorious for its intransparent behavior. This paper tries to shed light on this, providing an in-depth analysis of the dark personality traits and conspiracy beliefs of GPT-3.5 and GPT-4. Different psychological tests and questionnaires were employed, including the Dark Factor Test, the Mach-IV Scale, the Generic Conspiracy Belief Scale, and the Conspiracy Mentality Scale. The responses were analyzed computing average scores, standard deviations, and significance tests to investigate differences between GPT-3.5 and GPT-4. For traits that have shown to be interdependent in human studies, correlations were considered. Additionally, system roles corresponding to groups that have shown distinct answering behavior in the corresponding questionnaires were applied to examine the models’ ability to reflect characteristics associated with these roles in their responses. Dark personality traits and conspiracy beliefs were not particularly pronounced in either model with little differences between GPT-3.5 and GPT-4. However, GPT-4 showed a pronounced tendency to believe in information withholding. This is particularly intriguing given that GPT-4 is trained on a significantly larger dataset than GPT-3.5. Apparently, in this case an increased data exposure correlates with a greater belief in the control of information. An assignment of extreme political affiliations increased the belief in conspiracy theories. Test sequencing affected the models’ responses and the observed correlations, indicating a form of contextual memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google