KoBBQ: Korean Bias Benchmark for Question Answering

要約

BBQ (質問応答のバイアス ベンチマーク) データセットを使用すると、言語モデル (LM) が下流タスクで示す社会的バイアスを評価できます。
ただし、社会的な偏見は文化に依存しているため、BBQ を英語以外の言語に適応させるのは困難です。
この論文では、文化的に適応した方法で英語の BBQ データセットを活用することにより、英語以外のバイアス ベンチマーク データセットを構築するプロセスを考案し、韓国語の質問応答 (QA) タスクにおけるバイアスを評価するための KoBBQ データセットを提示します。
BBQ からのサンプルを 3 つのクラスに識別します: Simply-Translated (文化翻訳後に直接使用可能)、Target-Modified (ターゲット グループでのローカリゼーションが必要)、Sample-Removed (韓国文化に適合しない)。
韓国文化に特有の偏見の 4 つの新しいカテゴリを追加し、韓国文学に基づいたサンプルを新たに作成することで、韓国文化との文化的関連性をさらに強化しました。
KoBBQ は、社会的偏見の 12 カテゴリーにわたる 246 のテンプレートと 4,740 のサンプルで構成されています。
KoBBQ を使用して、いくつかの最先端の多言語 LM の精度とバイアス スコアを測定します。
韓国語と英語におけるLMのバイアスの違いを実証し、文化の違いを考慮して手作りしたデータの必要性を明らかにしました。

要約(オリジナル)

The BBQ (Bias Benchmark for Question Answering) dataset enables the evaluation of the social biases that language models (LMs) exhibit in downstream tasks. However, it is challenging to adapt BBQ to languages other than English as social biases are culturally dependent. In this paper, we devise a process to construct a non-English bias benchmark dataset by leveraging the English BBQ dataset in a culturally adaptive way and present the KoBBQ dataset for evaluating biases in Question Answering (QA) tasks in Korean. We identify samples from BBQ into three classes: Simply-Translated (can be used directly after cultural translation), Target-Modified (requires localization in target groups), and Sample-Removed (does not fit Korean culture). We further enhance the cultural relevance to Korean culture by adding four new categories of bias specific to Korean culture and newly creating samples based on Korean literature. KoBBQ consists of 246 templates and 4,740 samples across 12 categories of social bias. Using KoBBQ, we measure the accuracy and bias scores of several state-of-the-art multilingual LMs. We demonstrate the differences in the bias of LMs in Korean and English, clarifying the need for hand-crafted data considering cultural differences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google