Semantic Properties of cosine based bias scores for word embeddings

要約

多くの研究により、言語モデルにおける社会的バイアスに注目が集まり、そのようなバイアスを検出する方法が提案されています。
その結果、文献には多数の異なるバイアス テストとスコアが含まれており、それぞれが他のスコアでは検出できないバイアスをさらに明らかにするという前提で導入されています。
しかし、文献に著しく欠けているのは、そのようなバイアススコアを分析し、研究者が既存の方法の利点や限界を理解するのに役立つ比較研究です。
この作業では、コサインベースのバイアススコアのこのギャップを埋めることを目的としています。
バイアスの幾何学的定義に基づいて、バイアスを定量化するために意味があるとみなされるバイアス スコアの要件を提案します。
さらに、これらの要件に関する文献からのコサインベースのスコアを正式に分析します。
これらの発見を実験で強調し、バイアススコアの制限がアプリケーションの場合に影響を与えることを示します。

要約(オリジナル)

Plenty of works have brought social biases in language models to attention and proposed methods to detect such biases. As a result, the literature contains a great deal of different bias tests and scores, each introduced with the premise to uncover yet more biases that other scores fail to detect. What severely lacks in the literature, however, are comparative studies that analyse such bias scores and help researchers to understand the benefits or limitations of the existing methods. In this work, we aim to close this gap for cosine based bias scores. By building on a geometric definition of bias, we propose requirements for bias scores to be considered meaningful for quantifying biases. Furthermore, we formally analyze cosine based scores from the literature with regard to these requirements. We underline these findings with experiments to show that the bias scores’ limitations have an impact in the application case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google