Characterizing Bias: Benchmarking Large Language Models in Simplified versus Traditional Chinese

要約

大規模な言語モデル（LLM）の能力は、単純化された中国語と伝統的な中国語の両方で研究されていますが、LLMがこれらの2つの書かれた中国語のバリエーションでプロンプトされたときにパフォーマンスの差を示すかどうかはまだ不明です。
LLM応答の質の格差は、単純化された中国人と伝統的な中国人と比較して、教育や雇用などのドメインでのLLM強化された意思決定における下流の害を悪化させる可能性があるため、LLM応答の質の格差が代表的な害を永続させる可能性があるため、この理解は重要です。
潜在的なLLMパフォーマンスの格差を調査するために、現実世界のシナリオを反映する2つのベンチマークタスク：地域用語の選択（LLMに中国本土と台湾で異なる方法で言及される記述項目に名前を付けるように促します）、および地域の名前の選択（単純化されたものと伝統的な中国の両方の名前のリストから誰を雇うかを選択するようにLLMを促す）。
両方のタスクについて、主に英語、簡素化された中国語、または伝統的な中国語で訓練されたものにまたがる11の主要な商用LLMサービスとオープンソースモデルのパフォーマンスを監査します。
私たちの分析は、LLM応答のバイアスがタスクとプロンプトの言語の両方に依存していることを示しています。ほとんどのLLMは、地域用語の選択タスクで不均衡に単純化された中国の反応を支持していましたが、彼らは驚くほど地域名の選択タスクで伝統的な中国名を支持しました。
これらの格差は、トレーニングデータ表現、書面によるキャラクターの好み、および単純化された伝統的な中国人のトークン化の違いから生じる可能性があることがわかります。
これらの調査結果は、LLMバイアスのさらなる分析の必要性を強調しています。
そのため、中国語のバリアント（https://github.com/brucelyu17/sc-tc-bench）にわたって将来のLLM行動の再現可能な評価を促進するためのオープンソースのベンチマークデータセットを提供します。

要約(オリジナル)

While the capabilities of Large Language Models (LLMs) have been studied in both Simplified and Traditional Chinese, it is yet unclear whether LLMs exhibit differential performance when prompted in these two variants of written Chinese. This understanding is critical, as disparities in the quality of LLM responses can perpetuate representational harms by ignoring the different cultural contexts underlying Simplified versus Traditional Chinese, and can exacerbate downstream harms in LLM-facilitated decision-making in domains such as education or hiring. To investigate potential LLM performance disparities, we design two benchmark tasks that reflect real-world scenarios: regional term choice (prompting the LLM to name a described item which is referred to differently in Mainland China and Taiwan), and regional name choice (prompting the LLM to choose who to hire from a list of names in both Simplified and Traditional Chinese). For both tasks, we audit the performance of 11 leading commercial LLM services and open-sourced models — spanning those primarily trained on English, Simplified Chinese, or Traditional Chinese. Our analyses indicate that biases in LLM responses are dependent on both the task and prompting language: while most LLMs disproportionately favored Simplified Chinese responses in the regional term choice task, they surprisingly favored Traditional Chinese names in the regional name choice task. We find that these disparities may arise from differences in training data representation, written character preferences, and tokenization of Simplified and Traditional Chinese. These findings highlight the need for further analysis of LLM biases; as such, we provide an open-sourced benchmark dataset to foster reproducible evaluations of future LLM behavior across Chinese language variants (https://github.com/brucelyu17/SC-TC-Bench).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google