In-Contextual Gender Bias Suppression for Large Language Models

要約

大規模言語モデル (LLM) は、幅広い NLP タスクで優れたパフォーマンスを発揮しますが、憂慮すべきレベルのジェンダー バイアスをエンコードしていることが報告されています。
これまでの研究では、人によるラベル付けされた例、データの増強、および計算コストのかかる LLM の微調整を必要とするバイアス除去方法が提案されてきました。
さらに、GPT-4 などのクローズド LLM の場合など、バイアス除去を実行するためのモデル パラメーターにアクセスできない場合もあります。
この課題に対処するために、モデル パラメーターにアクセスせずに、手動で設計されたテンプレートと実際の統計から構築されたテキストのプリアンブルを提供するだけで、LLM の偏った生成を防ぐバイアス抑制を提案します。
私たちは、CrowsPairs データセットを使用して、事実に反する記述をカバーするテキストのプリアンブルが、LLaMA2 などの英語 LLM のジェンダーバイアスを抑制できることを示します。
さらに、ジェンダーに偏ったオブジェクトのジェンダー中立的な記述も、そのジェンダーバイアスを抑制できることがわかりました。
さらに、HellaSwag と COPA を使用すると、バイアス抑制が下流タスクのパフォーマンスに許容可能な悪影響を与えることを示します。

要約(オリジナル)

Despite their impressive performance in a wide range of NLP tasks, Large Language Models (LLMs) have been reported to encode worrying-levels of gender biases. Prior work has proposed debiasing methods that require human labelled examples, data augmentation and fine-tuning of LLMs, which are computationally costly. Moreover, one might not even have access to the model parameters for performing debiasing such as in the case of closed LLMs such as GPT-4. To address this challenge, we propose bias suppression that prevents biased generations of LLMs by simply providing textual preambles constructed from manually designed templates and real-world statistics, without accessing to model parameters. We show that, using CrowsPairs dataset, our textual preambles covering counterfactual statements can suppress gender biases in English LLMs such as LLaMA2. Moreover, we find that gender-neutral descriptions of gender-biased objects can also suppress their gender biases. Moreover, we show that bias suppression has acceptable adverse effect on downstream task performance with HellaSwag and COPA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google