SocialStigmaQA: A Benchmark to Uncover Stigma Amplification in Generative Language Models

要約

望ましくない社会的偏見を監査するための現在のデータセットは、人種や性別などの保護された人口統計的特徴の研究に限定されています。
この研究では、生成言語モデルにおけるスティグマを介した社会的偏見の増幅を捉えることを目的とした包括的なベンチマークを導入します。
社会科学研究からインスピレーションを得て、私たちは米国中心の 93 の汚名を文書化したリストから開始し、単純な社会状況を含む質問応答 (QA) データセットを厳選しました。
当社のベンチマークである SocialStigmaQA には、さまざまなプロンプト スタイルを含む約 10,000 個のプロンプトが含​​まれており、社会的バイアスとモデルの堅牢性の両方を体系的にテストするために慎重に構築されています。
2 つのオープンソース生成言語モデルを使用した SocialStigmaQA の結果を示します。その結果、さまざまなデコード戦略とプロンプト スタイルにわたって、社会的に偏った出力の割合が 45% から 59% の範囲であることがわかりました。
私たちは、ベンチマークのテンプレートの意図的な設計 (例: プロンプトにバイアスのあるテキストを追加する、またはバイアスを示す回答を変更する別の動詞を使用する) が、社会的にバイアスされた出力を生成するモデルの傾向に影響を与えることを実証します。
さらに、手動評価を通じて、生成された思考連鎖の出力の中から、微妙な偏見から推論の欠如に至るまで、問題のあるパターンを発見します。
警告: この文書には、有毒、偏った、潜在的に有害なテキストの例が含まれています。

要約(オリジナル)

Current datasets for unwanted social bias auditing are limited to studying protected demographic features such as race and gender. In this work, we introduce a comprehensive benchmark that is meant to capture the amplification of social bias, via stigmas, in generative language models. Taking inspiration from social science research, we start with a documented list of 93 US-centric stigmas and curate a question-answering (QA) dataset which involves simple social situations. Our benchmark, SocialStigmaQA, contains roughly 10K prompts, with a variety of prompt styles, carefully constructed to systematically test for both social bias and model robustness. We present results for SocialStigmaQA with two open source generative language models and we find that the proportion of socially biased output ranges from 45% to 59% across a variety of decoding strategies and prompting styles. We demonstrate that the deliberate design of the templates in our benchmark (e.g., adding biasing text to the prompt or using different verbs that change the answer that indicates bias) impacts the model tendencies to generate socially biased output. Additionally, through manual evaluation, we discover problematic patterns in the generated chain-of-thought output that range from subtle bias to lack of reasoning. Warning: This paper contains examples of text which are toxic, biased, and potentially harmful.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google