IndiBias: A Benchmark Dataset to Measure Social Biases in Language Models for Indian Context

要約

言語データには社会的バイアスが広く影響を及ぼしているため、大規模言語モデル（LLM）においてこれらのバイアスを捉え、評価するベンチマークデータセットの必要性が高まっています。既存の取り組みでは、主に英語と欧米の文脈に焦点が当てられており、インド独自の社会文化的ニュアンスを包含する信頼性の高いデータセットの空白が残されています。このギャップを埋めるために、インドの文脈における社会的バイアスを評価するために特別に設計された包括的なベンチマークデータセットであるIndiBiasを紹介する。既存のCrowS-Pairsデータセットをフィルタリングして翻訳し、インドの文脈に適したベンチマークデータセットをヒンディー語で作成する。さらに、ChatGPTとInstructGPTを含むLLMを活用し、インドで一般的な多様な社会的バイアスとステレオタイプでデータセットを増強する。バイアスの次元には、性別、宗教、カースト、年齢、地域、外見、職業が含まれます。また、3つの交差的次元に沿った交差的バイアスに対応するリソースも構築している。我々のデータセットには、800の文のペアと300のタプルが含まれ、さまざまなデモグラフィックを横断してバイアスを測定する。このデータセットは英語とヒンディー語で利用可能であり、既存のベンチマークデータセットに匹敵するサイズを提供している。さらに、IndiBiasを用いて、10種類の言語モデルを複数のバイアス測定指標で比較した。その結果、言語モデルは交差するグループの大部分においてより多くのバイアスを示すことが確認された。

要約(オリジナル)

The pervasive influence of social biases in language data has sparked the need for benchmark datasets that capture and evaluate these biases in Large Language Models (LLMs). Existing efforts predominantly focus on English language and the Western context, leaving a void for a reliable dataset that encapsulates India’s unique socio-cultural nuances. To bridge this gap, we introduce IndiBias, a comprehensive benchmarking dataset designed specifically for evaluating social biases in the Indian context. We filter and translate the existing CrowS-Pairs dataset to create a benchmark dataset suited to the Indian context in Hindi language. Additionally, we leverage LLMs including ChatGPT and InstructGPT to augment our dataset with diverse societal biases and stereotypes prevalent in India. The included bias dimensions encompass gender, religion, caste, age, region, physical appearance, and occupation. We also build a resource to address intersectional biases along three intersectional dimensions. Our dataset contains 800 sentence pairs and 300 tuples for bias measurement across different demographics. The dataset is available in English and Hindi, providing a size comparable to existing benchmark datasets. Furthermore, using IndiBias we compare ten different language models on multiple bias measurement metrics. We observed that the language models exhibit more bias across a majority of the intersectional groups.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL