SMoA: Sparse Mixture of Adapters to Mitigate Multiple Dataset Biases

要約

最近の研究では、さまざまな NLP タスクにさまざまなバイアスが存在し、バイアスに過度に依存すると、モデルの一般化能力が低下し、敵対的ロバスト性が低下することが明らかになりました。
データセットのバイアスを軽減するために、以前の研究では、特定のバイアスに対処するための多くのバイアス緩和手法が提案されています。
この論文では、複数のデータセットのバイアスを効果的かつ効率的に軽減できる新しいバイアス緩和方法 Sparse Mixture-of-Adapters (SMoA) を提案します。
自然言語推論と言い換え識別タスクに関する実験は、SMoA が完全な微調整、アダプター調整ベースライン、および以前の強力なバイアス緩和方法よりも優れていることを示しています。
さらなる分析は、サブアダプターがトレーニングデータから特定のパターンをキャプチャし、特定のバイアスを処理するように特化できるという SMoA の解釈可能性を示しています。

要約(オリジナル)

Recent studies reveal that various biases exist in different NLP tasks, and over-reliance on biases results in models’ poor generalization ability and low adversarial robustness. To mitigate datasets biases, previous works propose lots of debiasing techniques to tackle specific biases, which perform well on respective adversarial sets but fail to mitigate other biases. In this paper, we propose a new debiasing method Sparse Mixture-of-Adapters (SMoA), which can mitigate multiple dataset biases effectively and efficiently. Experiments on Natural Language Inference and Paraphrase Identification tasks demonstrate that SMoA outperforms full-finetuning, adapter tuning baselines, and prior strong debiasing methods. Further analysis indicates the interpretability of SMoA that sub-adapter can capture specific pattern from the training data and specialize to handle specific bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google