Examining the Influence of Political Bias on Large Language Model Performance in Stance Classification

要約

大規模言語モデル (LLM) は、自然言語クエリに基づいてタスクを実行する際に優れた機能を実証しています。
ただし、これらのモデルは厳選されたデータセットでトレーニングされており、本質的に人種、国、性別のバイアスに至るまでのバイアスを具体化しています。
これらのバイアスが特定のタスクに対する LLM のパフォーマンスに影響を与えるかどうかは依然として不明です。
この研究では、立場分類タスク内で LLM の政治的バイアスを調査し、特にこれらのモデルが政治的立場をより正確に分類する傾向を示すかどうかを調べます。
3 つのデータセット、7 つの LLM、および 4 つの異なるプロンプト スキームを利用して、政治的指向の声明と目標に対する LLM のパフォーマンスを分析します。
私たちの調査結果では、さまざまな政治指向のスタンス分類タスクにわたる LLM のパフォーマンスに統計的に有意な差があることが明らかになりました。
さらに、この違いは主にデータセット レベルで現れ、モデルとプロンプト スキームが異なるスタンス分類データセット間で統計的に同様のパフォーマンスを示していることが観察されています。
最後に、ステートメントが向けられているターゲットのあいまいさが大きくなると、LLM のスタンス分類の精度が低下することが観察されます。
コードとデータセット: http://doi.org/10.5281/zenodo.12938478

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable capabilities in executing tasks based on natural language queries. However, these models, trained on curated datasets, inherently embody biases ranging from racial to national and gender biases. It remains uncertain whether these biases impact the performance of LLMs for certain tasks. In this study, we investigate the political biases of LLMs within the stance classification task, specifically examining whether these models exhibit a tendency to more accurately classify politically-charged stances. Utilizing three datasets, seven LLMs, and four distinct prompting schemes, we analyze the performance of LLMs on politically oriented statements and targets. Our findings reveal a statistically significant difference in the performance of LLMs across various politically oriented stance classification tasks. Furthermore, we observe that this difference primarily manifests at the dataset level, with models and prompting schemes showing statistically similar performances across different stance classification datasets. Lastly, we observe that when there is greater ambiguity in the target the statement is directed towards, LLMs have poorer stance classification accuracy. Code & Dataset: http://doi.org/10.5281/zenodo.12938478

arxiv情報

提供元, 利用サービス

arxiv.jp, Google