CALM : A Multi-task Benchmark for Comprehensive Assessment of Language Model Bias

要約

言語モデル (LM) がますます強力になるにつれて、害を及ぼす可能性のある社会人口学的バイアスを定量化し、比較することが重要です。
以前のバイアス測定データセットは、手動で設計されたテンプレートの摂動の影響を受けやすいため、信頼性が低くなります。
信頼性を実現するために、3 つのタスクにわたる LM のバイアスを定量化するベンチマーク データセットである言語モデル バイアスの包括的評価 (CALM) を導入します。
ウィキペディアやニュース記事など、さまざまなドメインにわたる 16 の既存のデータセットを統合して、224 のテンプレートをフィルタリングし、そこから 78,400 例のデータセットを構築します。
平均的な意味的類似性やテンプレートの長さの変動などの指標に関して、CALM の多様性を以前のデータセットと比較し、小さな摂動に対する感度をテストします。
私たちのデータセットは以前のデータセットよりも多様で信頼性が高く、モデルのバイアスを確実に評価するために必要な幅広い言語バリエーションをより適切に捕捉できることを示します。
私たちは、Llama-2 などの 6 つの著名な LM ファミリを含む 20 の大規模な言語モデルを評価します。
2 つの LM シリーズ、OPT と Bloom では、パラメーターが大きいモデルはパラメーターが小さいモデルよりも偏りがあることがわかりました。
T0 シリーズのモデルが最も偏りが少ないことがわかりました。
さらに、一部のモデル シリーズでは、モデル サイズの増加に伴う性別と人種の偏見とのトレードオフに気づきました。
コードは https://github.com/vipulgupta1011/CALM で入手できます。

要約(オリジナル)

As language models (LMs) become increasingly powerful, it is important to quantify and compare them for sociodemographic bias with potential for harm. Prior bias measurement datasets are sensitive to perturbations in their manually designed templates, therefore unreliable. To achieve reliability, we introduce the Comprehensive Assessment of Language Model bias (CALM), a benchmark dataset to quantify bias in LMs across three tasks. We integrate 16 existing datasets across different domains, such as Wikipedia and news articles, to filter 224 templates from which we construct a dataset of 78,400 examples. We compare the diversity of CALM with prior datasets on metrics such as average semantic similarity, and variation in template length, and test the sensitivity to small perturbations. We show that our dataset is more diverse and reliable than previous datasets, thus better capture the breadth of linguistic variation required to reliably evaluate model bias. We evaluate 20 large language models including six prominent families of LMs such as Llama-2. In two LM series, OPT and Bloom, we found that larger parameter models are more biased than lower parameter models. We found the T0 series of models to be the least biased. Furthermore, we noticed a tradeoff between gender and racial bias with increasing model size in some model series. The code is available at https://github.com/vipulgupta1011/CALM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google