Bias Beyond English: Evaluating Social Bias and Debiasing Methods in a Low-Resource Setting

要約

言語モデルの社会的バイアスは、社会的不平等を悪化させる可能性があります。
それは広く注目されているにもかかわらず、ほとんどの研究は英語のデータに焦点を当てています。
リソースの低いシナリオでは、トレーニングデータが不十分なため、モデルはしばしば悪化します。
この研究の目的は、高リソースの言語コーパスを活用してバイアスを評価し、低リソース言語での脱毛方法を実験することを目的としています。
5つの言語での最近の多言語モデルのパフォーマンスを評価しました：英語（\ textsc {eng}）、中国語（\ textsc {zho}）、ロシア語（\ textsc {rus}）、インドネシア（\ textsc {ind}）、タイ（\ textsc {tha}）、およびfour bias dimensions：\ texitionを分析しました。
\ textit {religion}、\ textit {国籍}、および\ textit {race-color}。
多言語バイアス評価データセットを構築することにより、この調査により、言語間のモデル間の公正な比較が可能になります。
さらに、3つのdebiasingメソッド – \ texttt {cda}、\ texttt {dropout}、\ texttt {sendeb} – を調査し、高リソース言語からの委員会を効果的に低リソースのものに効果的に転送できることを実証しました。

要約(オリジナル)

Social bias in language models can potentially exacerbate social inequalities. Despite it having garnered wide attention, most research focuses on English data. In a low-resource scenario, the models often perform worse due to insufficient training data. This study aims to leverage high-resource language corpora to evaluate bias and experiment with debiasing methods in low-resource languages. We evaluated the performance of recent multilingual models in five languages: English (\textsc{eng}), Chinese (\textsc{zho}), Russian (\textsc{rus}), Indonesian (\textsc{ind}) and Thai (\textsc{tha}), and analyzed four bias dimensions: \textit{gender}, \textit{religion}, \textit{nationality}, and \textit{race-color}. By constructing multilingual bias evaluation datasets, this study allows fair comparisons between models across languages. We have further investigated three debiasing methods-\texttt{CDA}, \texttt{Dropout}, \texttt{SenDeb}-and demonstrated that debiasing methods from high-resource languages can be effectively transferred to low-resource ones, providing actionable insights for fairness research in multilingual NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google