Confidence Regularized Masked Language Modeling using Text Length

要約

マスクされた言語モデリングは、言語表現を学習するために広く使用されている方法であり、モデルは各入力でランダムにマスクされた単語を予測します。
ただし、このアプローチは通常、トレーニング中に単一の正解のみを考慮し、人間が選択する可能性のあるさまざまなもっともらしい代替案を無視します。
この問題は、入力テキストが短い場合により顕著になります。単語分布の可能性が高いエントロピーを持つ傾向があり、モデルが予測で過剰に自信になる可能性があるためです。
これを緩和するために、入力長に基づいて正規化強度を適応的に調整する新しい自信の正規者を提案します。
接着剤と分隊のベンチマークでの実験は、私たちの方法が精度と予想されるキャリブレーションエラーの両方を改善することを示しています

要約(オリジナル)

Masked language modeling is a widely used method for learning language representations, where the model predicts a randomly masked word in each input. However, this approach typically considers only a single correct answer during training, ignoring the variety of plausible alternatives that humans might choose. This issue becomes more pronounced when the input text is short, as the possible word distribution tends to have higher entropy, potentially causing the model to become overconfident in its predictions. To mitigate this, we propose a novel confidence regularizer that adaptively adjusts the regularization strength based on the input length. Experiments on the GLUE and SQuAD benchmarks show that our method improves both accuracy and expected calibration error

arxiv情報

提供元, 利用サービス

arxiv.jp, Google