An investigation of structures responsible for gender bias in BERT and DistilBERT

要約

近年、大規模な Transformer ベースの事前トレーニング済み言語モデル (PLM) が、さまざまなタスクで最先端のパフォーマンスの限界を押し上げることにより、自然言語処理 (NLP) の状況を変えてきました。
ただし、このパフォーマンスの向上は複雑さの増加に伴い、その結果、そのようなモデルのサイズ (最大数十億のパラメーター) が、組み込みデバイスや短い推論時間のタスクへの展開に対する制約となります。
この状況に対処するために、圧縮モデル (例: DistilBERT) が登場し、私たちの日常生活に影響を与えるますます多くのアプリケーションでその使用が民主化されました。
重要な問題は、PLM とその抽出された対応企業の両方によって行われる予測の公平性です。
この論文では、次の 2 つの質問を形式化することで、この問題を経験的に調査することを提案します: (1) BERT (さらには DistilBERT) におけるジェンダーバイアスの原因となる神経機構を特定できるか?
(2) 蒸留はジェンダーバイアスを強調または緩和する傾向がありますか (例: DistilBERT は非圧縮バージョンの BERT よりもジェンダーバイアスになりやすいですか)?
私たちの発見は次のとおりです。(I) バイアスを生み出す特定の層を特定することはできません。
(II) すべてのアテンションヘッドがバイアスを均一にエンコードします。
ただし、機密属性の不均衡が大きく、過小評価されているクラスの場合は除きます。
(III) ネットワークを再微調整するため、このヘッドのサブセットは異なります。
(IV) バイアスは、蒸留モデルのヘッドによってより均一に生成されます。

要約(オリジナル)

In recent years, large Transformer-based Pre-trained Language Models (PLM) have changed the Natural Language Processing (NLP) landscape, by pushing the performance boundaries of the state-of-the-art on a wide variety of tasks. However, this performance gain goes along with an increase in complexity, and as a result, the size of such models (up to billions of parameters) represents a constraint for their deployment on embedded devices or short-inference time tasks. To cope with this situation, compressed models emerged (e.g. DistilBERT), democratizing their usage in a growing number of applications that impact our daily lives. A crucial issue is the fairness of the predictions made by both PLMs and their distilled counterparts. In this paper, we propose an empirical exploration of this problem by formalizing two questions: (1) Can we identify the neural mechanism(s) responsible for gender bias in BERT (and by extension DistilBERT)? (2) Does distillation tend to accentuate or mitigate gender bias (e.g. is DistilBERT more prone to gender bias than its uncompressed version, BERT)? Our findings are the following: (I) one cannot identify a specific layer that produces bias; (II) every attention head uniformly encodes bias; except in the context of underrepresented classes with a high imbalance of the sensitive attribute; (III) this subset of heads is different as we re-fine tune the network; (IV) bias is more homogeneously produced by the heads in the distilled model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google