KoBBQ: Korean Bias Benchmark for Question Answering

要約

質問応答のバイアス ベンチマーク (BBQ) は、言語モデル (LM) の社会的バイアスを評価するように設計されていますが、社会的バイアスは文化的背景に大きく依存するため、このベンチマークを米国以外の文化的背景に適応させるのは簡単ではありません。
この論文では、韓国のバイアス ベンチマーク データセットである KoBBQ を紹介し、データセットの文化的適応に関する考慮事項に対処する一般的なフレームワークを提案します。
私たちのフレームワークには、BBQ データセットを 3 つのクラス (Simply-Transferred (文化翻訳後に直接使用可能)、Target-Modified (ターゲット グループでのローカリゼーションが必要)、Sample-Removed (韓国文化に適合しない)) に分割することが含まれています。
韓国文化に特有の偏見の 4 つの新しいカテゴリを追加しました。
韓国文化における固定観念を反映した社会的偏見とその偏見の対象を収集・検証するために、大規模な調査を実施します。
結果として得られる KoBBQ データセットは、社会的バイアスの 12 カテゴリーにわたる 268 のテンプレートと 76,048 のサンプルで構成されます。
私たちは KoBBQ を使用して、いくつかの最先端の多言語 LM の精度とバイアス スコアを測定します。
この結果は、KoBBQ と BBQ の機械翻訳版で測定した LM のバイアスの違いを明確に示しており、文化を意識した、よく構築された社会的バイアス ベンチマークの必要性と有用性を示しています。

要約(オリジナル)

The Bias Benchmark for Question Answering (BBQ) is designed to evaluate social biases of language models (LMs), but it is not simple to adapt this benchmark to cultural contexts other than the US because social biases depend heavily on the cultural context. In this paper, we present KoBBQ, a Korean bias benchmark dataset, and we propose a general framework that addresses considerations for cultural adaptation of a dataset. Our framework includes partitioning the BBQ dataset into three classes–Simply-Transferred (can be used directly after cultural translation), Target-Modified (requires localization in target groups), and Sample-Removed (does not fit Korean culture)– and adding four new categories of bias specific to Korean culture. We conduct a large-scale survey to collect and validate the social biases and the targets of the biases that reflect the stereotypes in Korean culture. The resulting KoBBQ dataset comprises 268 templates and 76,048 samples across 12 categories of social bias. We use KoBBQ to measure the accuracy and bias scores of several state-of-the-art multilingual LMs. The results clearly show differences in the bias of LMs as measured by KoBBQ and a machine-translated version of BBQ, demonstrating the need for and utility of a well-constructed, culturally-aware social bias benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google