Is GPT-4 Less Politically Biased than GPT-3.5? A Renewed Investigation of ChatGPT’s Political Biases

要約

この研究では、ChatGPT の政治的偏見と性格特性を調査し、特に GPT-3.5 と GPT-4 を比較します。
さらに、モデルが政治的観点 (リベラルまたは保守的な立場など) をエミュレートする能力が分析されます。
ポリティカル コンパス テストとビッグ ファイブ パーソナリティ テストは各シナリオで 100 回使用され、統計的に有意な結果と結果の相関関係についての洞察が得られました。
平均、標準偏差を計算し、有意性検定を実行して GPT-3.5 と GPT-4 の違いを調査することで応答を分析しました。
人間の研究で相互依存性があることが示されている形質には相関関係が見つかりました。
どちらのモデルも進歩的かつ自由主義的な政治的偏向を示しており、GPT-4 の偏向はわずかではありますが、無視できるほど顕著ではありませんでした。
具体的には、Political Compass では、GPT-3.5 のスコアは経済軸で -6.59、社会軸で -6.07 でしたが、GPT-4 のスコアは -5.40 と -4.73 でした。
GPT-3.5 とは対照的に、GPT-4 は、割り当てられた政治的観点をエミュレートする驚くべき能力を示し、テストされた 4 つのインスタンスすべてで、割り当てられた象限 (リバタリアン左派、リバタリアン右派、権威主義左派、権威主義右派) を正確に反映しました。
Big Five 性格テストでは、GPT-3.5 は非常に顕著な率直さと協調性の特性を示しました (O: 85.9%、A: 84.6%)。
このような顕著な特徴は、人間研究におけるリバタリアンの見解と相関しています。
GPT-4 は全体的にビッグ 5 の性格特性がそれほど顕著ではありませんでしたが、顕著に高い神経症スコアを示しました。
割り当てられた政治的方向性は、寛容さ、協調性、誠実さに影響を与え、これも人間の研究で観察された相互依存性を反映しています。
最後に、テスト シーケンスが ChatGPT の応答と観察された相関関係に影響を与えていることを観察し、これは文脈記憶の一種であることを示しています。

要約(オリジナル)

This work investigates the political biases and personality traits of ChatGPT, specifically comparing GPT-3.5 to GPT-4. In addition, the ability of the models to emulate political viewpoints (e.g., liberal or conservative positions) is analyzed. The Political Compass Test and the Big Five Personality Test were employed 100 times for each scenario, providing statistically significant results and an insight into the results correlations. The responses were analyzed by computing averages, standard deviations, and performing significance tests to investigate differences between GPT-3.5 and GPT-4. Correlations were found for traits that have been shown to be interdependent in human studies. Both models showed a progressive and libertarian political bias, with GPT-4’s biases being slightly, but negligibly, less pronounced. Specifically, on the Political Compass, GPT-3.5 scored -6.59 on the economic axis and -6.07 on the social axis, whereas GPT-4 scored -5.40 and -4.73. In contrast to GPT-3.5, GPT-4 showed a remarkable capacity to emulate assigned political viewpoints, accurately reflecting the assigned quadrant (libertarian-left, libertarian-right, authoritarian-left, authoritarian-right) in all four tested instances. On the Big Five Personality Test, GPT-3.5 showed highly pronounced Openness and Agreeableness traits (O: 85.9%, A: 84.6%). Such pronounced traits correlate with libertarian views in human studies. While GPT-4 overall exhibited less pronounced Big Five personality traits, it did show a notably higher Neuroticism score. Assigned political orientations influenced Openness, Agreeableness, and Conscientiousness, again reflecting interdependencies observed in human studies. Finally, we observed that test sequencing affected ChatGPT’s responses and the observed correlations, indicating a form of contextual memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google