SAGED: A Holistic Bias-Benchmarking Pipeline for Language Models with Customisable Fairness Calibration

要約

偏りのない大規模な言語モデルの開発は、重要なものとして広く認識されていますが、既存のベンチマークは、限られた範囲、汚染、および公平性のベースラインの欠如により、バイアスの検出に不足しています。
セージ（バイアス）は、これらの問題に対処する最初のホリスティックベンチマークパイプラインです。
パイプラインには、材料の削減、ベンチマークの組み立て、応答の生成、数値機能の抽出、視差メトリックとの診断の5つのコアステージが含まれます。
Sagedには、衝撃比などの最大視差のメトリック、および最大Zスコアなどのバイアス濃度が含まれます。
プロンプトのメトリックツールのバイアスとコンテキストバイアスが評価をゆがめることができることに気づき、セージングされた緩和を実装し、緩和のためのベースラインキャリブレーションを実装します。
デモンストレーションには、G20国でGEMMA2、LLAMA3.1、MISTRAL、QWEN2などの人気のある8Bレベルモデルを使用してセージングされています。
感情分析により、ミストラルとQWEN2はGemma2およびllama3.1よりも最大格差とバイアス濃度が高いことを示していますが、すべてのモデルはロシアや（QWEN2を除く）中国などの国に対して顕著に偏っていることがわかります。
米国の大統領をロールプレイするモデルを持つためのさらなる実験により、バイアスが増幅し、異質な方向の変化が見られます。
さらに、QWEN2とMistralはロールプレイに従事していないのに対し、Llama3.1とGemma2のロールプレイトランプはBidenとHarrisよりも顕著に顕著に顕著であり、これらのモデルのロールプレイングパフォーマンスバイアスを示しています。

要約(オリジナル)

The development of unbiased large language models is widely recognized as crucial, yet existing benchmarks fall short in detecting biases due to limited scope, contamination, and lack of a fairness baseline. SAGED(bias) is the first holistic benchmarking pipeline to address these problems. The pipeline encompasses five core stages: scraping materials, assembling benchmarks, generating responses, extracting numeric features, and diagnosing with disparity metrics. SAGED includes metrics for max disparity, such as impact ratio, and bias concentration, such as Max Z-scores. Noticing that metric tool bias and contextual bias in prompts can distort evaluation, SAGED implements counterfactual branching and baseline calibration for mitigation. For demonstration, we use SAGED on G20 Countries with popular 8b-level models including Gemma2, Llama3.1, Mistral, and Qwen2. With sentiment analysis, we find that while Mistral and Qwen2 show lower max disparity and higher bias concentration than Gemma2 and Llama3.1, all models are notably biased against countries like Russia and (except for Qwen2) China. With further experiments to have models role-playing U.S. presidents, we see bias amplifies and shifts in heterogeneous directions. Moreover, we see Qwen2 and Mistral not engage in role-playing, while Llama3.1 and Gemma2 role-play Trump notably more intensively than Biden and Harris, indicating role-playing performance bias in these models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google