Information Guided Regularization for Fine-tuning Language Models

要約

事前トレーニングと微調整のパラダイムは、現代の言語モデリングにおける転移学習の事実上の戦略となっています。
LM におけるタスクの適応は、タスク間で共有されるパラメーターの関数であることが多いということを理解した上で、よりスムーズな転移学習のためには、正則化に対するより外科的なアプローチが必要であると主張します。
この目的に向けて、情報理論のレンズを通して、これらのタスク依存パラメーターが事前学習損失の状況にどのような影響を与えるかを調査します。
次に、調査結果を活用して、モデルの正則化と下流の一般化を改善するためのドロップアウトに対する新しいアプローチを考案します。
ガイド付きドロップアウトと呼ばれるこのアプローチは、タスクとアーキテクチャの両方に依存せず、微調整プロセスに計算オーバーヘッドを追加しません。
実証的評価を通じて、正則化へのアプローチが、データ不足のシナリオであっても、標準化されたベースラインと比較して一貫して優れたパフォーマンスを生み出すことを示します。

要約(オリジナル)

The pretraining-fine-tuning paradigm has been the de facto strategy for transfer learning in modern language modeling. With the understanding that task adaptation in LMs is often a function of parameters shared across tasks, we argue that a more surgical approach to regularization needs to exist for smoother transfer learning. Towards this end, we investigate how the pretraining loss landscape is affected by these task-sensitive parameters through an information-theoretic lens. We then leverage the findings from our investigations to devise a novel approach to dropout for improved model regularization and better downstream generalization. This approach, named guided dropout, is both task & architecture agnostic and adds no computational overhead to the fine-tuning process. Through empirical evaluations, we showcase that our approach to regularization yields consistently better performance, even in scenarios of data paucity, compared to standardized baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google