Mitigating Bias in Queer Representation within Large Language Models: A Collaborative Agent Approach

要約

大規模言語モデル (LLM) は、代名詞の使用における偏見を永続させ、クィア個人の誤った表現や排除につながることがよくあります。
この論文では、LLM 出力における代名詞の偏った使用の問題、特に、すべてのアイデンティティを正確に表現するために包括的な言語が必要な場合の、伝統的に性差のある代名詞 (「彼」、「彼女」) の不適切な使用について取り上げます。
包括性を高めるために代名詞の使用を分析および最適化することで、これらのバイアスを軽減するように設計された協調エージェント パイプラインを導入します。
当社のマルチエージェント フレームワークには、バイアスの検出と修正の両方に特化したエージェントが含まれています。
Tango データセット (性別代名詞の使用に焦点を当てたベンチマーク) を使用した実験評価では、私たちのアプローチが包含代名詞の分類を大幅に改善し、不適切な伝統的な性別代名詞に正しく反対する点で GPT-4o よりも 32.6 パーセント ポイント増加したことを実証しました $(\chi^2 =
38.57、p < 0.0001)$。 これらの結果は、AI が生成したコンテンツの公平性と包括性を強化するエージェント駆動フレームワークの可能性を強調し、偏見を軽減し、社会的責任を負う AI を促進する上でその有効性を実証しています。

要約(オリジナル)

Large Language Models (LLMs) often perpetuate biases in pronoun usage, leading to misrepresentation or exclusion of queer individuals. This paper addresses the specific problem of biased pronoun usage in LLM outputs, particularly the inappropriate use of traditionally gendered pronouns (‘he,’ ‘she’) when inclusive language is needed to accurately represent all identities. We introduce a collaborative agent pipeline designed to mitigate these biases by analyzing and optimizing pronoun usage for inclusivity. Our multi-agent framework includes specialized agents for both bias detection and correction. Experimental evaluations using the Tango dataset-a benchmark focused on gender pronoun usage-demonstrate that our approach significantly improves inclusive pronoun classification, achieving a 32.6 percentage point increase over GPT-4o in correctly disagreeing with inappropriate traditionally gendered pronouns $(\chi^2 = 38.57, p < 0.0001)$. These results accentuate the potential of agent-driven frameworks in enhancing fairness and inclusivity in AI-generated content, demonstrating their efficacy in reducing biases and promoting socially responsible AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google