Social Bias in Large Language Models For Bangla: An Empirical Study on Gender and Religious Bias

要約

大規模言語モデル (LLM) の急速な成長により、バイアスの研究が重要な分野として浮上しました。
機密分野での公正な使用を確保するには、LLM に組み込まれたさまざまなタイプのバイアスの影響を評価することが重要です。
英語でのバイアス評価に関する広範な研究はこれまでに行われてきましたが、バングラ語のような主要言語ではそのような取り組みはまれであり、希少です。
この研究では、LLM が生成したバングラ語の出力における 2 種類の社会的バイアスを調査します。
この研究における私たちの主な貢献は、(1) バングラの 2 つの異なる社会的バイアスに関するバイアス研究、(2) バイアス測定ベンチマーク用に厳選されたデータセット、および (3) バングラの状況におけるバイアス検出のための 2 つの異なる調査手法のテストです。
これは、私たちの知る限り、バングラのLLMのバイアス評価を含むこの種の最初の研究です。
私たちのコードとリソースはすべて、バングラ NLP におけるバイアス関連の研究を進めるために公開されています。

要約(オリジナル)

The rapid growth of Large Language Models (LLMs) has put forward the study of biases as a crucial field. It is important to assess the influence of different types of biases embedded in LLMs to ensure fair use in sensitive fields. Although there have been extensive works on bias assessment in English, such efforts are rare and scarce for a major language like Bangla. In this work, we examine two types of social biases in LLM generated outputs for Bangla language. Our main contributions in this work are: (1) bias studies on two different social biases for Bangla, (2) a curated dataset for bias measurement benchmarking and (3) testing two different probing techniques for bias detection in the context of Bangla. This is the first work of such kind involving bias assessment of LLMs for Bangla to the best of our knowledge. All our code and resources are publicly available for the progress of bias related research in Bangla NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google