Should We Attend More or Less? Modulating Attention for Fairness

要約

自然言語処理 (NLP) における注釈付きデータの豊富さは、機会と課題の両方をもたらします。
これにより、さまざまなタスクに対応する高性能モデルの開発が可能になりますが、性別に関する固定観念などの有害なバイアスをモデルがデータから学習してしまうリスクも伴います。
この研究では、社会的偏見の伝播における、現在の最先端の NLP モデルで広く使用されている手法である注意の役割を調査します。
具体的には、注目分布のエントロピーとモデルのパフォーマンスおよび公平性との関係を研究します。
次に、トレーニング後のモデルの公平性を向上させるためにアテンションの重みを調整する新しい方法を提案します。
私たちの方法はトレーニング後および推論前にのみ適用されるため、処理内方法であり、したがって既存の処理中および前処理のアプローチよりも計算コストが低くなります。
私たちの結果は、さまざまなサイズの言語モデルを使用したさまざまなテキスト分類および生成タスクにおいて、公平性が向上し、パフォーマンスの損失が最小限に抑えられることを示しています。
警告: この作品には不快な表現が使用されています。

要約(オリジナル)

The abundance of annotated data in natural language processing (NLP) poses both opportunities and challenges. While it enables the development of high-performing models for a variety of tasks, it also poses the risk of models learning harmful biases from the data, such as gender stereotypes. In this work, we investigate the role of attention, a widely-used technique in current state-of-the-art NLP models, in the propagation of social biases. Specifically, we study the relationship between the entropy of the attention distribution and the model’s performance and fairness. We then propose a novel method for modulating attention weights to improve model fairness after training. Since our method is only applied post-training and pre-inference, it is an intra-processing method and is, therefore, less computationally expensive than existing in-processing and pre-processing approaches. Our results show an increase in fairness and minimal performance loss on different text classification and generation tasks using language models of varying sizes. WARNING: This work uses language that is offensive.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google