Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models

要約

大規模な事前トレーニング済み言語モデル (PLM) は、微調整を通じて自然言語理解 (NLU) タスクで優れたパフォーマンスを実証しました。
ただし、微調整されたモデルでも、特にドメイン外の設定では、依然として過信予測に悩まされます。
この論文では、微調整された言語モデルを調整するという問題に取り組みます。
マスクされた言語モデリング タスクでは PLM がドメイン シフトの下で堅牢な予測信頼性を備えて適切に調整されているが、微調整されたモデルは壊滅的な忘却によりそのような特性を保持できず、下流の分類タスクの調整に影響を与えることを実証します。
これらの観察を踏まえて、事前トレーニングされた特徴を保存するいくつかの方法の調整を評価し、事前トレーニングされた特徴を保存することで微調整された言語モデルの調整が向上する可能性があることを示します。
これらの方法の中で、補助言語モデリング目標を使用して微調整されたモデルが生成表現を学習することを促進する私たちの提案された方法は、ドメイン内とドメイン外の両方の設定で、いくつかの強力なベースラインと比較して、競合する精度と最も低い予測キャリブレーション誤差を達成します。
3 つのダウンストリーム NLU タスク。

要約(オリジナル)

Large pre-trained language models (PLMs) have demonstrated strong performance on natural language understanding (NLU) tasks through fine-tuning. However, fine-tuned models still suffer from overconfident predictions, especially in out-of-domain settings. In this paper, we tackle the problem of calibrating fine-tuned language models. We demonstrate that the PLMs are well-calibrated on the masked language modeling task with robust predictive confidence under domain shift, yet the fine-tuned models fail to retain such property due to catastrophic forgetting, which impacts the calibration on the downstream classification task. In light of these observations, we evaluate the calibration of several methods that preserve pre-trained features and show that preserving pre-trained features can improve the calibration of fine-tuned language models. Among these methods, our proposed method that encourages the fine-tuned model to learn generative representations with auxiliary language modeling objective achieves competitive accuracy and the lowest expected calibration error compared to several strong baselines under both in-domain and out-of-domain settings on three downstream NLU tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google