Robust Bias Detection in MLMs and its Application to Human Trait Ratings

要約

MLMの人口統計属性に対するバイアスを研究するために、テンプレートを使用した重要な事前の作業がありました。
ただし、これらには制限があります。テンプレートのランダムな変動性を見落とし、分析されたターゲットの概念を見落とし、テンプレート間の平等を想定し、バイアスの定量化を見落としています。
これらに対処すると、MLMのバイアスを評価するための体系的な統計的アプローチを提案し、混合モデルを使用してランダム効果を説明し、テンプレートから派生した文の疑似複雑さの重みを説明し、統計効果サイズを使用してバイアスを定量化します。
以前の研究を複製すると、小規模から中程度の効果サイズで、大きさと方向のバイアススコアを一致させます。
次に、$ \ textit {personality} $および$ \ textit {character} $の特性のコンテキストで、ジェンダーバイアスの斬新な問題を調査します。
MLMSは異なることがわかります。
アルバートはバイナリの性別では偏見がありませんが、非バイナリ$ \ textit {neo} $で最も偏っていますが、ロベルタ・ラージはバイナリの性別で最も偏っていますが、$ \ textit {neo} $の小さい〜バイアスを示しています。
MLMバイアスと心理学の発見（人間の視点）のいくつかの整合性があります-Roberta-largeと$ \ textit {asmeableness} $には、$ \ textit {感情的安定性} $がBert-largeを使用しています。
残りの3つの性格の次元には一般的な一致があります。双方は性別全体でほとんどの小さな違いを観察します。
キャラクター特性の場合、性別バイアスに関する人間の研究は限られているため、比較は実行不可能です。

要約(オリジナル)

There has been significant prior work using templates to study bias against demographic attributes in MLMs. However, these have limitations: they overlook random variability of templates and target concepts analyzed, assume equality amongst templates, and overlook bias quantification. Addressing these, we propose a systematic statistical approach to assess bias in MLMs, using mixed models to account for random effects, pseudo-perplexity weights for sentences derived from templates and quantify bias using statistical effect sizes. Replicating prior studies, we match on bias scores in magnitude and direction with small to medium effect sizes. Next, we explore the novel problem of gender bias in the context of $\textit{personality}$ and $\textit{character}$ traits, across seven MLMs (base and large). We find that MLMs vary; ALBERT is unbiased for binary gender but the most biased for non-binary $\textit{neo}$, while RoBERTa-large is the most biased for binary gender but shows small to no bias for $\textit{neo}$. There is some alignment of MLM bias and findings in psychology (human perspective) – in $\textit{agreeableness}$ with RoBERTa-large and $\textit{emotional stability}$ with BERT-large. There is general agreement for the remaining 3 personality dimensions: both sides observe at most small differences across gender. For character traits, human studies on gender bias are limited thus comparisons are not feasible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google