SAGED: A Holistic Bias-Benchmarking Pipeline for Language Models with Customisable Fairness Calibration

要約

バイアスのない大規模な言語モデルの開発は重要であると広く認識されていますが、既存のベンチマークでは、範囲が限定され、汚染があり、公平性ベースラインが欠如しているため、バイアスを検出することができません。
SAGED(-Bias) は、これらの問題に対処する最初の総合的なベンチマーク パイプラインです。
パイプラインには、マテリアルのスクレイピング、ベンチマークの組み立て、応答の生成、数値特徴の抽出、視差メトリクスによる診断という 5 つの主要な段階が含まれます。
SAGED には、影響率などの最大格差と、最大 Z スコアなどのバイアス集中のメトリクスが含まれています。
評価ツールのバイアスとプロンプトのコンテキスト バイアスが評価を歪める可能性があることに気づき、SAGED は緩和のために反事実の分岐とベースライン キャリブレーションを実装します。
デモンストレーションでは、Gemma2、Llama3.1、Mistral、Qwen2 などの一般的な 8b レベル モデルを備えた G20 諸国で SAGED を使用します。
センチメント分析により、Mistral と Qwen2 は Gemma2 や Llama3.1 よりも最大格差が低く、バイアス濃度が高いことを示していますが、すべてのモデルがロシアや (Qwen2 を除く) 中国などの国に対して顕著に偏っていることがわかりました。
米国（副/元）大統領のロールプレイングをモデルに行うさらなる実験により、偏見が増幅され、不均一な方向にシフトすることがわかります。
さらに、Qwen2 とミストラルはロールプレイングに参加していないのに対し、Llama3.1 と Gemma2 はバイデン氏やハリス氏よりも著しく集中的にトランプのロールプレイングを行っており、これらのモデルにおけるロールプレイングのパフォーマンスの偏りを示しています。

要約(オリジナル)

The development of unbiased large language models is widely recognized as crucial, yet existing benchmarks fall short in detecting biases due to limited scope, contamination, and lack of a fairness baseline. SAGED(-Bias) is the first holistic benchmarking pipeline to address these problems. The pipeline encompasses five core stages: scraping materials, assembling benchmarks, generating responses, extracting numeric features, and diagnosing with disparity metrics. SAGED includes metrics for max disparity, such as impact ratio, and bias concentration, such as Max Z-scores. Noticing that assessment tool bias and contextual bias in prompts can distort evaluation, SAGED implements counterfactual branching and baseline calibration for mitigation. For demonstration, we use SAGED on G20 Countries with popular 8b-level models including Gemma2, Llama3.1, Mistral, and Qwen2. With sentiment analysis, we find that while Mistral and Qwen2 show lower max disparity and higher bias concentration than Gemma2 and Llama3.1, all models are notably biased against countries like Russia and (except for Qwen2) China. With further experiments to have models role-playing U.S. (vice-/former-) presidents, we see bias amplifies and shifts in heterogeneous directions. Moreover, we see Qwen2 and Mistral not engage in role-playing, while Llama3.1 and Gemma2 role-play Trump notably more intensively than Biden and Harris, indicating role-playing performance bias in these models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google