DBR: Divergence-Based Regularization for Debiasing Natural Language Understanding Models

要約

事前に訓練された言語モデル（PLMS）は、さまざまな自然言語処理タスクで印象的な結果を達成しています。
しかし、最近の研究により、これらのモデルは、特に自然言語理解（NLU）タスクのために、言語の真の理解を開発する代わりに、表面的な特徴とショートカットに依存することが多いことが明らかになりました。
その結果、モデルはドメイン外データに一般化するのに苦労しています。
この作業では、このショートカット学習行動を軽減するために、発散に基づく正規化（DBR）を提案します。
私たちの方法は、元の例とショートカットトークンがマスクされた例の出力分布との間の発散を測定します。
このプロセスにより、モデルの予測がショートカットの機能やバイアスに過度に影響されるのを防ぎます。
3つのNLUタスクでモデルを評価し、ドメイン内の精度をほとんど失ってドメイン外のパフォーマンスを改善することがわかります。
私たちの結果は、ショートカットや表面的な特徴への依存を減らすことで、大規模な訓練を受けた言語モデルの一般化能力を高めることができることを示しています。

要約(オリジナル)

Pre-trained language models (PLMs) have achieved impressive results on various natural language processing tasks. However, recent research has revealed that these models often rely on superficial features and shortcuts instead of developing a genuine understanding of language, especially for natural language understanding (NLU) tasks. Consequently, the models struggle to generalize to out-of-domain data. In this work, we propose Divergence Based Regularization (DBR) to mitigate this shortcut learning behavior. Our method measures the divergence between the output distributions for original examples and examples where shortcut tokens have been masked. This process prevents the model’s predictions from being overly influenced by shortcut features or biases. We evaluate our model on three NLU tasks and find that it improves out-of-domain performance with little loss of in-domain accuracy. Our results demonstrate that reducing the reliance on shortcuts and superficial features can enhance the generalization ability of large pre-trained language models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google