Debiasing Sentence Embedders through Contrastive Word Pairs

要約

ここ数年、さまざまなセンテンス エンベダーは、自然言語処理 (NLP) への現在の機械学習アプローチの成功に不可欠な部分を占めてきました。
残念なことに、複数の情報源は、これらの埋め込み手法がトレーニングされるデータセットに固有のバイアスが学習されることを示しています。
埋め込みのバイアスを除去するためのさまざまなアプローチが文献に存在します。
これらのアプローチのほとんどは単語の埋め込みに適用できますが、文の埋め込みに適用できるケースは少数です。
問題があるのは、ほとんどのバイアス除去アプローチが単語埋め込みから直接転送されることです。そのため、これらのアプローチでは、文埋め込み要素とそれが生成する埋め込みの非線形性が考慮されていません。
このような方法を使用して文の埋め込みをバイアス解除した場合でも、バイアス情報が依然として存在することが文献で示されています。
この寄稿では、ダウンストリームのパフォーマンスに影響を与えることなく、NLP ソリューションの線形および非線形のバイアス情報を除去するアプローチを検討します。
我々のアプローチを、古典的なバイアスメトリックと非線形情報を考慮したバイアスメトリックに関する一般的なバイアス除去手法と比較します。

要約(オリジナル)

Over the last years, various sentence embedders have been an integral part in the success of current machine learning approaches to Natural Language Processing (NLP). Unfortunately, multiple sources have shown that the bias, inherent in the datasets upon which these embedding methods are trained, is learned by them. A variety of different approaches to remove biases in embeddings exists in the literature. Most of these approaches are applicable to word embeddings and in fewer cases to sentence embeddings. It is problematic that most debiasing approaches are directly transferred from word embeddings, therefore these approaches fail to take into account the nonlinear nature of sentence embedders and the embeddings they produce. It has been shown in literature that bias information is still present if sentence embeddings are debiased using such methods. In this contribution, we explore an approach to remove linear and nonlinear bias information for NLP solutions, without impacting downstream performance. We compare our approach to common debiasing methods on classical bias metrics and on bias metrics which take nonlinear information into account.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google