AutoBiasTest: Controllable Sentence Generation for Automated and Open-Ended Social Bias Testing in Language Models

要約

事前学習済み言語モデル (PLM) の社会的偏見は、テキスト生成やその他の下流の NLP タスクに影響を与えます。
既存のバイアス テスト方法は、主に手動のテンプレートまたは高価なクラウドソーシング データに依存しています。
PLM でバイアスをテストするための文を自動的に生成する新しい AutoBiasTest メソッドを提案し、柔軟で低コストの代替手段を提供します。
私たちのアプローチは、生成に別の PLM を使用し、社会的グループと属性の用語を条件付けることによって文の生成を制御します。
生成された文が自然であり、単語の長さと多様性の点で人間が作成したコンテンツに似ていることを示します。
生成に使用されるより大きなモデルは、より低い分散で社会的バイアスの推定値を生成することを示しています。
バイアス スコアは手動テンプレートとよく相関していることがわかりましたが、AutoBiasTest は、より多様で現実的なテスト センテンスのために、これらのテンプレートではキャプチャされないバイアスを強調しています。
大規模なテスト文の生成を自動化することで、根底にあるバイアス分布のより良い推定を可能にします

要約(オリジナル)

Social bias in Pretrained Language Models (PLMs) affects text generation and other downstream NLP tasks. Existing bias testing methods rely predominantly on manual templates or on expensive crowd-sourced data. We propose a novel AutoBiasTest method that automatically generates sentences for testing bias in PLMs, hence providing a flexible and low-cost alternative. Our approach uses another PLM for generation and controls the generation of sentences by conditioning on social group and attribute terms. We show that generated sentences are natural and similar to human-produced content in terms of word length and diversity. We illustrate that larger models used for generation produce estimates of social bias with lower variance. We find that our bias scores are well correlated with manual templates, but AutoBiasTest highlights biases not captured by these templates due to more diverse and realistic test sentences. By automating large-scale test sentence generation, we enable better estimation of underlying bias distributions

arxiv情報

提供元, 利用サービス

arxiv.jp, Google