A Bayesian approach to uncertainty in word embedding bias estimation

要約

WEAT や MAC などの複数の尺度は、単語埋め込みに存在するバイアスの大きさを単一の数値メトリクスで定量化しようとします。
ただし、そのようなメトリクスと関連する統計的有意性の計算は、事前に平均化されたデータを個別のデータ ポイントとして扱い、サンプル サイズが小さいブートストラップ手法を採用することに依存しています。
意図したバイアスを欠いたヌルモデルによってデータが生成された場合でも、このような方法を使用すると、同様の結果が簡単に得られることを示します。
したがって、このアプローチは誤った信頼を生み出すと私たちは主張します。
この問題に対処するために、我々はベイジアンの代替案である階層ベイジアン モデリングを提案します。これにより、さまざまな粒度レベルでの単語埋め込みのバイアスをより不確実性に敏感に検査できるようになります。
私たちの方法を紹介するために、元の調査からの宗教、性別、人種の単語リストと、対照的な中立的な単語リストにそれを適用します。
Google、Glove、Reddit の埋め込みを使用してメソッドをデプロイします。
さらに、このアプローチを利用して、Reddit の単語埋め込みに適用されるバイアス除去技術を評価します。
私たちの調査結果は、単一数値指標の支持者が示唆するものよりも複雑な状況を明らかにしています。
論文のデータセットとソースコードは公開されています。

要約(オリジナル)

Multiple measures, such as WEAT or MAC, attempt to quantify the magnitude of bias present in word embeddings in terms of a single-number metric. However, such metrics and the related statistical significance calculations rely on treating pre-averaged data as individual data points and employing bootstrapping techniques with low sample sizes. We show that similar results can be easily obtained using such methods even if the data are generated by a null model lacking the intended bias. Consequently, we argue that this approach generates false confidence. To address this issue, we propose a Bayesian alternative: hierarchical Bayesian modeling, which enables a more uncertainty-sensitive inspection of bias in word embeddings at different levels of granularity. To showcase our method, we apply it to Religion, Gender, and Race word lists from the original research, together with our control neutral word lists. We deploy the method using Google, Glove, and Reddit embeddings. Further, we utilize our approach to evaluate a debiasing technique applied to Reddit word embedding. Our findings reveal a more complex landscape than suggested by the proponents of single-number metrics. The datasets and source code for the paper are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google