Apolitical Intelligence? Auditing Delphi’s responses on controversial political issues in the US

要約

生成言語モデルがますます幅広い文脈で導入されるにつれて、その政治的価値観に対する懸念が最前線に達し、モデルが偏っていて中立性に欠けているという政治的スペクトルのあらゆる部分からの批判が寄せられています。
しかし、中立性とは何か、それが望ましいかどうかという問題は、依然として十分に解明されていません。
この論文では、クラウドソースの倫理のために設計された大規模な言語モデルである Delphi [arXiv:2110.07574] の監査を通じて中立性を検証します。
私は、米国のさまざまな政治サブグループと比較して、デルフィが政治的に物議を醸す質問にどのように反応するかを分析します。
デルフィは信頼性に関して調整が不十分であり、重大な政治的偏りを示していることがわかりました。
これらの結果に基づいて、私はデータフェミニストのレンズから中立性の問題を検討します。中立性の概念がどのように権力を動かし、聞こえない声をさらに疎外するかという観点からです。
これらの発見は、調整に関する規範的な問題や、社会において生成モデルにどのような役割を果たしてもらいたいかについての、より再帰的な議論に貢献できることが期待されます。

要約(オリジナル)

As generative language models are deployed in ever-wider contexts, concerns about their political values have come to the forefront with critique from all parts of the political spectrum that the models are biased and lack neutrality. However, the question of what neutrality is and whether it is desirable remains underexplored. In this paper, I examine neutrality through an audit of Delphi [arXiv:2110.07574], a large language model designed for crowdsourced ethics. I analyse how Delphi responds to politically controversial questions compared to different US political subgroups. I find that Delphi is poorly calibrated with respect to confidence and exhibits a significant political skew. Based on these results, I examine the question of neutrality from a data-feminist lens, in terms of how notions of neutrality shift power and further marginalise unheard voices. These findings can hopefully contribute to a more reflexive debate about the normative questions of alignment and what role we want generative models to play in society.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google