Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models

要約

人間のプログラマーには偏見があります。
私たちは、アノテーターとして大規模言語モデル (LLM) で同様のバイアスをテストします。
Ennser-Jedenastik と Meyer (2018) が実施した実験を再現することにより、LLM が政治的発言を判断するために政治情報、特に政党の手がかりを使用しているという証拠が見つかりました。
LLM は、関連情報を使用して、当事者の合図に基づいて発言が肯定的、否定的、または中立的であるかどうかを文脈化するだけでなく、訓練の対象となった人間が生成したデータのバイアスも反映します。
また、極端な政党からの発言に直面した場合にのみ偏見を持つ人間とは異なり、LLM は中道左派や中道右派の政党からの発言に促された場合でも重大な偏見を示すこともわかりました。
私たちの調査結果の意味については、結論で説明します。

要約(オリジナル)

Human coders are biased. We test similar biases in Large Language Models (LLMs) as annotators. By replicating an experiment run by Ennser-Jedenastik and Meyer (2018), we find evidence that LLMs use political information, and specifically party cues, to judge political statements. Not only do LLMs use relevant information to contextualize whether a statement is positive, negative, or neutral based on the party cue, they also reflect the biases of the human-generated data upon which they have been trained. We also find that unlike humans, who are only biased when faced with statements from extreme parties, LLMs exhibit significant bias even when prompted with statements from center-left and center-right parties. The implications of our findings are discussed in the conclusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google