Improving Bias Mitigation through Bias Experts in Natural Language Understanding

要約

データセット内のバイアスにより、モデルは分布内データでは高いパフォーマンスを達成できますが、分布外データではパフォーマンスが低下することがよくあります。
ネットワークに対するバイアスの悪影響を軽減するために、これまでの研究では、明示的なバイアス ラベルを使用してトレーニングされた補助モデルによって特定されたバイアスのある例の重みを下げるバイアス除去手法が提案されてきました。
ただし、データセット内の偏りの種類を見つけるにはコストがかかるプロセスです。
したがって、最近の研究では、モデルのトレーニング環境やモデル自体の能力を制約することによって、バイアス ラベルのガイダンス (または注釈) なしで補助モデルにバイアスを与えることが試みられています。
最近の研究で有望なバイアス除去結果が得られたにもかかわらず、補助モデルのトレーニングに単純に使用されてきたマルチクラス学習目標は、その正則化効果とクラス間の競争特性により、バイアス緩和効果を損なう可能性があります。
代替案として、バイアス専門家の造語である補助モデルとメイン モデルの間にバイナリ分類子を導入する新しいバイアス除去フレームワークを提案します。
具体的には、各バイアス専門家は、One-vs-Rest アプローチによるマルチクラス分類タスクから派生したバイナリ分類タスクについてトレーニングを受けます。
実験結果は、私たちが提案した戦略が補助モデルのバイアス識別能力を向上させることを示しています。
その結果、私たちの偏りのないモデルは、さまざまな課題データセットにおいて常に最先端のモデルを上回ります。

要約(オリジナル)

Biases in the dataset often enable the model to achieve high performance on in-distribution data, while poorly performing on out-of-distribution data. To mitigate the detrimental effect of the bias on the networks, previous works have proposed debiasing methods that down-weight the biased examples identified by an auxiliary model, which is trained with explicit bias labels. However, finding a type of bias in datasets is a costly process. Therefore, recent studies have attempted to make the auxiliary model biased without the guidance (or annotation) of bias labels, by constraining the model’s training environment or the capability of the model itself. Despite the promising debiasing results of recent works, the multi-class learning objective, which has been naively used to train the auxiliary model, may harm the bias mitigation effect due to its regularization effect and competitive nature across classes. As an alternative, we propose a new debiasing framework that introduces binary classifiers between the auxiliary model and the main model, coined bias experts. Specifically, each bias expert is trained on a binary classification task derived from the multi-class classification task via the One-vs-Rest approach. Experimental results demonstrate that our proposed strategy improves the bias identification ability of the auxiliary model. Consequently, our debiased model consistently outperforms the state-of-the-art on various challenge datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google