Large Means Left: Political Bias in Large Language Models Increases with Their Number of Parameters

要約

人工知能の有病率の増加に伴い、これらの素因がユーザーに与える影響を緩和するための基礎を形成するために、固有のバイアスの慎重な評価を実施する必要があります。
大規模な言語モデル（LLM）は、主に多くの人がさまざまなトピックの主要な情報源として使用しています。
LLMは頻繁に事実上の誤りを犯したり、データを製造したり（幻覚）、または偏見を提示したりして、ユーザーを誤った情報にさらすことと意見に影響を与えます。
幻覚とは異なり、バイアスをデータ検証で捕らえることができないため、ユーザーのリスクについて教育することは責任ある使用の鍵です。
Wahl-O-Matが作成したスコアを使用して、ドイツのバンデタグの最近の投票の文脈において、一般的なLLMの政治的偏見を定量化します。
この指標は、個人の政治的見解とドイツの政党の立場との間の整合を測定します。
モデルのアラインメントスコアを比較して、政治的好みに影響を与える要因を特定します。
そうすることで、私たちは、より大きなLLMで最も支配的な左寄りのパーティーに対するバイアスを発見します。
また、モデルと通信するために使用する言語は、政治的見解に影響を与えることがわかります。
さらに、モデルの起源とリリース日の影響を分析し、結果をBundestagの最近の投票の結果と比較します。
私たちの結果は、LLMが政治的偏見を示す傾向があることを意味します。
したがって、LLMを開発するために必要な手段を備えた大企業は、故意に、または知らないうちに、各投票者の意思決定プロセスに影響を与え、一般的かつ大規模に世論を通知できるため、これらのバイアスを抑える責任があります。

要約(オリジナル)

With the increasing prevalence of artificial intelligence, careful evaluation of inherent biases needs to be conducted to form the basis for alleviating the effects these predispositions can have on users. Large language models (LLMs) are predominantly used by many as a primary source of information for various topics. LLMs frequently make factual errors, fabricate data (hallucinations), or present biases, exposing users to misinformation and influencing opinions. Educating users on their risks is key to responsible use, as bias, unlike hallucinations, cannot be caught through data verification. We quantify the political bias of popular LLMs in the context of the recent vote of the German Bundestag using the score produced by the Wahl-O-Mat. This metric measures the alignment between an individual’s political views and the positions of German political parties. We compare the models’ alignment scores to identify factors influencing their political preferences. Doing so, we discover a bias toward left-leaning parties, most dominant in larger LLMs. Also, we find that the language we use to communicate with the models affects their political views. Additionally, we analyze the influence of a model’s origin and release date and compare the results to the outcome of the recent vote of the Bundestag. Our results imply that LLMs are prone to exhibiting political bias. Large corporations with the necessary means to develop LLMs, thus, knowingly or unknowingly, have a responsibility to contain these biases, as they can influence each voter’s decision-making process and inform public opinion in general and at scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google