SocialStigmaQA: A Benchmark to Uncover Stigma Amplification in Generative Language Models

要約

望ましくない社会的偏見を監査するための現在のデータセットは、人種や性別などの保護された人口統計的特徴の研究に限定されています。
この研究では、生成言語モデルにおけるスティグマを介した社会的偏見の増幅を捉えることを目的とした包括的なベンチマークを導入します。
私たちは、社会科学文献に文書化されている 93 の汚名をまとめた包括的なリストから開始し、単純な社会状況を含む質問応答 (QA) データセットを厳選します。
当社のベンチマークである SocialStigmaQA には、さまざまなプロンプト スタイルを含む約 10,000 個のプロンプトが含​​まれており、社会的バイアスとモデルの堅牢性の両方を体系的にテストするために慎重に構築されています。
我々は、広く使用されている 2 つのオープンソース生成言語モデルを使用した SocialStigmaQA の結果を提示し、これらのモデルによって生成された出力が、偏見を持たれたグループに対する既存の社会的偏見を大幅に増幅することを実証します。
具体的には、社会的に偏った出力の割合は、さまざまな解読戦略とプロンプト スタイル全体で 45% から 59% の範囲であることがわかりました。
私たちは、ベンチマークのテンプレートの意図的な設計 (プロンプトにバイアスのあるテキストを追加したり、バイアスを示す回答を変更したりするなど) が、社会的にバイアスされた出力を生成するモデルの傾向に影響を与えていることを発見しました。
さらに、生成された思考連鎖の出力のパターンについて報告し、微妙な偏見から推論の欠如の証拠に至るまで、さまざまな問題を発見します。
警告: この文書には、有毒、偏見、有害なテキストの例が含まれています。

要約(オリジナル)

Current datasets for unwanted social bias auditing are limited to studying protected demographic features such as race and gender. In this work, we introduce a comprehensive benchmark that is meant to capture the amplification of social bias, via stigmas, in generative language models. We start with a comprehensive list of 93 stigmas documented in social science literature and curate a question-answering (QA) dataset which involves simple social situations. Our benchmark, SocialStigmaQA, contains roughly 10K prompts, with a variety of prompt styles, carefully constructed to systematically test for both social bias and model robustness. We present results for SocialStigmaQA with two widely used open source generative language models and we demonstrate that the output generated by these models considerably amplifies existing social bias against stigmatized groups. Specifically, we find that the proportion of socially biased output ranges from 45% to 59% across a variety of decoding strategies and prompting styles. We discover that the deliberate design of the templates in our benchmark (e.g., by adding biasing text to the prompt or varying the answer that indicates bias) impact the model tendencies to generate socially biased output. Additionally, we report on patterns in the generated chain-of-thought output, finding a variety of problems from subtle bias to evidence of a lack of reasoning. Warning: This paper contains examples of text which is toxic, biased, and harmful.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google