Filipino Benchmarks for Measuring Sexist and Homophobic Bias in Multilingual Language Models from Southeast Asia

要約

多言語モデルに関するバイアス研究により、高い NLP リソースを備えた言語を処理するマスクされたモデルに性別に関連したステレオタイプが存在することが確認されています。
私たちは、フィリピンの低リソース言語であるフィリピン語のテキストを処理する事前学習済み言語モデル (PLM) における性差別バイアスと反クィア バイアスの両方を評価するベンチマークである、Filipino CrowS-Pairs と Filipino WinoQueer を導入することで、この一連の研究を拡張します。
このベンチマークは、英語のバイアス評価データセットの文化的適応から得られた 7,074 の新しい課題のペアで構成されており、このプロセスは今後の同様の取り組みの指針となるよう詳細に文書化されています。
東南アジアのデータで事前トレーニングされたモデルを含む、マスクされた因果関係のある多言語モデルにフィリピンのベンチマークを適用したところ、それらのモデルにはかなりの量のバイアスが含まれていることがわかりました。
また、多言語モデルの場合、特定の言語について学習されるバイアスの程度は、モデルがその言語の事前トレーニング データにどれだけさらされたかによって影響を受けることもわかりました。
私たちのベンチマークと洞察は、多言語モデルにおけるバイアスを分析および軽減する将来の作業の基盤として役立ちます。

要約(オリジナル)

Bias studies on multilingual models confirm the presence of gender-related stereotypes in masked models processing languages with high NLP resources. We expand on this line of research by introducing Filipino CrowS-Pairs and Filipino WinoQueer: benchmarks that assess both sexist and anti-queer biases in pretrained language models (PLMs) handling texts in Filipino, a low-resource language from the Philippines. The benchmarks consist of 7,074 new challenge pairs resulting from our cultural adaptation of English bias evaluation datasets, a process that we document in detail to guide similar forthcoming efforts. We apply the Filipino benchmarks on masked and causal multilingual models, including those pretrained on Southeast Asian data, and find that they contain considerable amounts of bias. We also find that for multilingual models, the extent of bias learned for a particular language is influenced by how much pretraining data in that language a model was exposed to. Our benchmarks and insights can serve as a foundation for future work analyzing and mitigating bias in multilingual models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google