Bias Beyond English: Counterfactual Tests for Bias in Sentiment Analysis in Four Languages

要約

感情分析 (SA) システムは、多くの製品と数百の言語で使用されています。
ジェンダーと人種の偏見は、英語の SA システムではよく研究されていますが、他の言語では十分に研究されておらず、そのような研究のためのリソースはほとんどありません。
これを修正するために、ジェンダーおよび人種/移民の偏見に関する反事実的な評価コーパスを 4 つの言語で構築しました。
システムを導入する際にエンジニアが答える必要があるかもしれない単純だが重要な質問に答えることで、その有用性を実証します。つまり、事前トレーニングのないベースラインと比較した場合、システムは事前トレーニングされたモデルからどのようなバイアスをインポートしますか?
私たちの評価コーパスは、反事実的であるため、どのモデルのバイアスが少ないかを明らかにするだけでなく、モデルのバイアス動作の変化を正確に指摘し、より的を絞った緩和戦略を可能にします。
今後の研究を促進するために、コードと評価コーパスを公開します。

要約(オリジナル)

Sentiment analysis (SA) systems are used in many products and hundreds of languages. Gender and racial biases are well-studied in English SA systems, but understudied in other languages, with few resources for such studies. To remedy this, we build a counterfactual evaluation corpus for gender and racial/migrant bias in four languages. We demonstrate its usefulness by answering a simple but important question that an engineer might need to answer when deploying a system: What biases do systems import from pre-trained models when compared to a baseline with no pre-training? Our evaluation corpus, by virtue of being counterfactual, not only reveals which models have less bias, but also pinpoints changes in model bias behaviour, which enables more targeted mitigation strategies. We release our code and evaluation corpora to facilitate future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google