Better Aligned with Survey Respondents or Training Data? Unveiling Political Leanings of LLMs on U.S. Supreme Court Cases

要約

大規模な言語モデル（LLMS）の採用の増加と世論を形成する可能性は、これらのモデルの政治的傾向を評価することに関心を集めました。
LLMと人間の意見を比較し、システムの反応において政治的バイアスを観察した以前の研究に基づいて、私たちはさらに一歩進んで、コーポラの形状モデルの出力のトレーニングにどのように埋め込まれているかを経験的に調べることにより、そのようなバイアスの根本的な原因を調査します。
具体的には、大規模な事前トレーニングコーパスに埋め込まれた政治的傾向を定量的に評価する方法を提案します。
その後、私たちは、より多くのLLMSの政治的傾向、彼らのプレリニグコーポラまたは調査対象の人間の意見を調査します。
ケーススタディとして、私たちは、中絶や投票権などの論争の多いトピックに対処し、32の米国最高裁判所の訴訟でLLMの政治的傾向を調査することに焦点を当てています。
私たちの調査結果は、LLMがトレーニングデータの政治的傾向を強く反映しており、調査で表明された人間の意見との整合性に強い相関関係は観察されないことを明らかにしています。
これらの結果は、トレーニングデータの責任あるキュレーションの重要性と、人間中心の値とのLLMの整合を確保するための堅牢な評価メトリックの必要性を強調しています。

要約(オリジナル)

The increased adoption of Large Language Models (LLMs) and their potential to shape public opinion have sparked interest in assessing these models’ political leanings. Building on previous research that compared LLMs and human opinions and observed political bias in system responses, we take a step further to investigate the underlying causes of such biases by empirically examining how the values and biases embedded in training corpora shape model outputs. Specifically, we propose a method to quantitatively evaluate political leanings embedded in the large pretraining corpora. Subsequently we investigate to whom are the LLMs’ political leanings more aligned with, their pretrainig corpora or the surveyed human opinions. As a case study, we focus on probing the political leanings of LLMs in 32 U.S. Supreme Court cases, addressing contentious topics such as abortion and voting rights. Our findings reveal that LLMs strongly reflect the political leanings in their training data, and no strong correlation is observed with their alignment to human opinions as expressed in surveys. These results underscore the importance of responsible curation of training data and the need for robust evaluation metrics to ensure LLMs’ alignment with human-centered values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google