Constructing Holistic Measures for Social Biases in Masked Language Models

要約

マスク言語モデル（MLM）は、多くの自然言語処理タスクで成功を収めている。しかし、MLMは大規模なテキストコーパスから学習するため、実世界のステレオタイプのバイアスがMLMに反映される可能性が高い。過去に提案された評価メトリクスのほとんどは、MLMの対数尤度を用いて設計された、異なるマスキング戦略を採用している。それらは、ステレオタイプ・バイアスやアンチ・ステレオタイプ・バイアスのサンプルに対する分散といった全体的な考慮が欠けている。本論文では、MLMが出力するステレオタイプ・バイアスとアンチ・ステレオタイプ・バイアス・サンプルの対数尤度をガウス分布とみなす。MLMの社会的バイアスを評価するために、Kullback Leibler Divergence Score (KLDivS)とJensen Shannon Divergence Score (JSDivS)の2つの評価指標を提案する。公開データセットStereoSetとCrowS-Pairsを用いた実験結果から、KLDivSとJSDivSは過去に提案された評価指標と比較して、より安定で解釈可能であることが示される。

要約(オリジナル)

Masked Language Models (MLMs) have been successful in many natural language processing tasks. However, real-world stereotype biases are likely to be reflected in MLMs due to their learning from large text corpora. Most of the evaluation metrics proposed in the past adopt different masking strategies, designed with the log-likelihood of MLMs. They lack holistic considerations such as variance for stereotype bias and anti-stereotype bias samples. In this paper, the log-likelihoods of stereotype bias and anti-stereotype bias samples output by MLMs are considered Gaussian distributions. Two evaluation metrics, Kullback Leibler Divergence Score (KLDivS) and Jensen Shannon Divergence Score (JSDivS) are proposed to evaluate social biases in MLMs The experimental results on the public datasets StereoSet and CrowS-Pairs demonstrate that KLDivS and JSDivS are more stable and interpretable compared to the metrics proposed in the past.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL