General Phrase Debiaser: Debiasing Masked Language Models at a Multi-Token Level

要約

事前トレーニングされた言語モデルによって明らかになった社会的偏見や望ましくない固定観念が、その適用の障害となっています。
単語レベルを対象とした多数のバイアス除去手法と比較して、フレーズ レベルに存在するバイアスについては比較的注目されておらず、専門分野におけるバイアス除去のパフォーマンスが制限されています。
この論文では、マスクされた言語モデルにおけるフレーズレベルのバイアスを軽減できる、\textbf{General Phrase Debiaser} と呼ばれる自動マルチトークンバイアス除去パイプラインを提案します。
具体的には、私たちのメソッドは、Wikipedia ページから定型的なフレーズを生成する \textit{フレーズ フィルター ステージ} と、フレーズのバイアスの問題に取り組むためにマルチトークン レベルでモデルをデバイアスできる \textit{モデル デバイアス ステージ} で構成されます。
後者は、モデルのバイアスを引き起こすプロンプトを検索し、それらをバイアス解消に使用します。
標準的なデータセットと指標に関する最先端の結果は、私たちのアプローチが、さまざまなパラメーターサイズのモデル全体で、キャリアと複数の分野の両方におけるジェンダーバイアスを大幅に軽減できることを示しています。

要約(オリジナル)

The social biases and unwelcome stereotypes revealed by pretrained language models are becoming obstacles to their application. Compared to numerous debiasing methods targeting word level, there has been relatively less attention on biases present at phrase level, limiting the performance of debiasing in discipline domains. In this paper, we propose an automatic multi-token debiasing pipeline called \textbf{General Phrase Debiaser}, which is capable of mitigating phrase-level biases in masked language models. Specifically, our method consists of a \textit{phrase filter stage} that generates stereotypical phrases from Wikipedia pages as well as a \textit{model debias stage} that can debias models at the multi-token level to tackle bias challenges on phrases. The latter searches for prompts that trigger model’s bias, and then uses them for debiasing. State-of-the-art results on standard datasets and metrics show that our approach can significantly reduce gender biases on both career and multiple disciplines, across models with varying parameter sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google