FairFlow: An Automated Approach to Model-based Counterfactual Data Augmentation For NLP

要約

言語モデルは進化しているにもかかわらず、トレーニング データから誤って学習した有害な社会的偏見や固定観念を描き続けています。
これらの固有のバイアスは、多くの場合、さまざまなアプリケーションに悪影響を及ぼします。
反事実データ拡張 (CDA) は、トレーニング データ内の人口統計的属性のバランスをとろうとするもので、自然言語処理におけるバイアスを軽減するために広く採用されているアプローチです。
ただし、既存の CDA アプローチの多くは、手動でコンパイルされた単語ペア辞書を使用した単語置換技術に依存しています。
これらの手法は多くの場合、コンテキストを逸脱した置換につながり、潜在的な品質問題を引き起こします。
一方、モデルベースの技術の進歩は、並列トレーニング データの必要性によって課題となっています。
この分野の研究は手動で生成された並列データに頼っていますが、収集にコストがかかるため、規模が制限されています。
この論文では、人間の介入の必要性を制限し、反事実テキスト生成モデルをトレーニングするための並列データを生成する自動化アプローチである FairFlow を提案します。
さらに、FairFlow は良好なパフォーマンスを維持しながら、辞書ベースの単語置換アプローチの制限を大幅に克服することを示します。

要約(オリジナル)

Despite the evolution of language models, they continue to portray harmful societal biases and stereotypes inadvertently learned from training data. These inherent biases often result in detrimental effects in various applications. Counterfactual Data Augmentation (CDA), which seeks to balance demographic attributes in training data, has been a widely adopted approach to mitigate bias in natural language processing. However, many existing CDA approaches rely on word substitution techniques using manually compiled word-pair dictionaries. These techniques often lead to out-of-context substitutions, resulting in potential quality issues. The advancement of model-based techniques, on the other hand, has been challenged by the need for parallel training data. Works in this area resort to manually generated parallel data that are expensive to collect and are consequently limited in scale. This paper proposes FairFlow, an automated approach to generating parallel data for training counterfactual text generator models that limits the need for human intervention. Furthermore, we show that FairFlow significantly overcomes the limitations of dictionary-based word-substitution approaches whilst maintaining good performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google