LLMs left, right, and center: Assessing GPT’s capabilities to label political bias from web domains

要約

この研究では、最先端の大規模言語モデルである OpenAI の GPT-4 が、ニュース ソースの政治的偏向を URL のみに基づいて正確に分類できるかどうかを調査します。
政治的ラベルの主観的な性質を考慮して、ニュースソースの多様性を分析する研究では、Ad Fontes Media、AllSides、Media Bias/Fact Check (MBFC) などの第三者によるバイアス評価がよく使用されます。
この研究は、GPT-4 がこれらの人間の評価を 7 段階のスケール (「極左」から「極右」) で再現できるかどうかを判断することを目的としています。
この分析では、GPT-4 の分類と MBFC の分類を比較し、Open PageRank スコアを使用して Web サイトの人気を制御します。
調査結果では、GPT-4 の評価と MBFC の評価の間に高い相関関係 ($\text{Spearman’s } \rho = .89$、$n = 5,877$、$p < 0.001$) が明らかになり、モデルの潜在的な信頼性が示されています。 ただし、GPT-4 はデータセットの約 $\frac{2}{3}$ を分類することを拒否しました。 人気のない Web サイトの評価は控える可能性が高く、評価の精度も低くなります。 LLM は、MBFC が中道派と見なす情報源の分類を避ける傾向があり、その結果、出力がより二極化することになります。 最後に、この分析は、MBFC と比較して GPT の分類がわずかに左に偏っていることを示しています。 したがって、この論文では、GPT-4 はニュース Web サイトの政治的偏見を分類するためのスケーラブルで費用対効果の高いツールとなり得る一方で、その使用は偏見を軽減する人間の判断を補完するものとしてすべきであると示唆しています。

要約(オリジナル)

This research investigates whether OpenAI’s GPT-4, a state-of-the-art large language model, can accurately classify the political bias of news sources based solely on their URLs. Given the subjective nature of political labels, third-party bias ratings like those from Ad Fontes Media, AllSides, and Media Bias/Fact Check (MBFC) are often used in research to analyze news source diversity. This study aims to determine if GPT-4 can replicate these human ratings on a seven-degree scale (‘far-left’ to ‘far-right’). The analysis compares GPT-4’s classifications against MBFC’s, and controls for website popularity using Open PageRank scores. Findings reveal a high correlation ($\text{Spearman’s } \rho = .89$, $n = 5,877$, $p < 0.001$) between GPT-4's and MBFC's ratings, indicating the model's potential reliability. However, GPT-4 abstained from classifying approximately $\frac{2}{3}$ of the dataset. It is more likely to abstain from rating unpopular websites, which also suffer from less accurate assessments. The LLM tends to avoid classifying sources that MBFC considers to be centrist, resulting in more polarized outputs. Finally, this analysis shows a slight leftward skew in GPT's classifications compared to MBFC's. Therefore, while this paper suggests that while GPT-4 can be a scalable, cost-effective tool for political bias classification of news websites, its use should be as a complement to human judgment to mitigate biases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google