Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting

要約

事前トレーニングされた言語モデルのジェンダーバイアスに対処する既存の研究では、通常、小規模な性別中立のデータセットを構築し、そのようなデータを使用してモデルの第 2 段階の事前トレーニングを実施します。
ただし、性別に依存しないデータのサイズが限られており、焦点が集中していることを考えると、第 2 段階の事前トレーニング中に壊滅的な物忘れが発生する可能性があります。
元のトレーニング データの情報を忘れると、モデルの下流のパフォーマンスが大幅に損なわれる可能性があります。
この研究では、このような方法を GLUE の一般的な NLP タスクで評価することにより、壊滅的な忘却が発生することを経験的に示します。
そこで、我々は、事前学習済みモデルの男女間の公平性を忘れを少なく改善するための新しい手法である GEEP (GEnder Equality Prompt) を提案します。
GEEP は、事前トレーニングされたモデルをフリーズし、性別に依存しないデータを使用して性別に関連したプロンプトを学習します。
実証結果は、GEEP がジェンダー公平性タスクで SOTA のパフォーマンスを達成するだけでなく、忘れ物が少なく、GLUE でのパフォーマンスが大幅に向上することを示しています。

要約(オリジナル)

Existing studies addressing gender bias of pre-trained language models, usually build a small gender-neutral data set and conduct a second phase pre-training on the model with such data. However, given the limited size and concentrated focus of the gender-neutral data, catastrophic forgetting would occur during second-phase pre-training. Forgetting information in the original training data may damage the model’s downstream performance by a large margin. In this work, we empirically show that catastrophic forgetting occurs in such methods by evaluating them with general NLP tasks in GLUE. Then, we propose a new method, GEnder Equality Prompt (GEEP), to improve gender fairness of pre-trained models with less forgetting. GEEP freezes the pre-trained model and learns gender-related prompts with gender-neutral data. Empirical results show that GEEP not only achieves SOTA performances on gender fairness tasks, but also forgets less and performs better on GLUE by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google