Gender Inclusivity Fairness Index (GIFI): A Multilevel Framework for Evaluating Gender Diversity in Large Language Models

要約

大規模な言語モデル（LLMS）におけるジェンダー公平性の包括的な評価を提示し、バイナリと非バイナリの両方の性別を処理する能力に焦点を当てています。
以前の研究は主にバイナリの性別の区別に焦点を当てていますが、LLMの多様な性別包括性を定量化する斬新で包括的な指標である性別包括性公平性指数（GIFI）を紹介します。
GIFIは、提供された性別代名詞に対してモデルを単純に調査することから、異なる性別の仮定の下でモデル生成と認知行動のさまざまな側面をテストすることから、異なる性別識別子に関連するバイアスを明らかにすることから、さまざまなレベルでの幅広い評価で構成されています。
さまざまなサイズと能力の22の著名なオープンソースと独自のLLMでGIFIを使用して広範な評価を実施し、LLMSの性別包括性の有意なバリエーションを発見します。
私たちの研究は、LLMSの包括性を改善することの重要性を強調し、生成モデルにおけるジェンダー公平性の将来の進歩のための重要なベンチマークを提供します。

要約(オリジナル)

We present a comprehensive evaluation of gender fairness in large language models (LLMs), focusing on their ability to handle both binary and non-binary genders. While previous studies primarily focus on binary gender distinctions, we introduce the Gender Inclusivity Fairness Index (GIFI), a novel and comprehensive metric that quantifies the diverse gender inclusivity of LLMs. GIFI consists of a wide range of evaluations at different levels, from simply probing the model with respect to provided gender pronouns to testing various aspects of model generation and cognitive behaviors under different gender assumptions, revealing biases associated with varying gender identifiers. We conduct extensive evaluations with GIFI on 22 prominent open-source and proprietary LLMs of varying sizes and capabilities, discovering significant variations in LLMs’ gender inclusivity. Our study highlights the importance of improving LLMs’ inclusivity, providing a critical benchmark for future advancements in gender fairness in generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google