Fast-ELECTRA for Efficient Pre-training

要約

ELECTRA は、補助モデルに置き換えられたシーケンス内のトークンを検出することにより、言語モデルを事前トレーニングします。
ELECTRA は効率を大幅に向上させますが、その可能性は補助モデルによってもたらされるトレーニング コストによって制限されます。
特に、メイン モデルと共同でトレーニングされるこのモデルは、メイン モデルのトレーニングを支援する目的でのみ機能し、トレーニング後に破棄されます。
これにより、多額のトレーニング費用が無駄に費やされることになります。
この問題を軽減するために、既存の言語モデルを補助モデルとして利用する Fast-ELECTRA を提案します。
メインモデルの学習カリキュラムを構築するために、降順スケジュールに従って温度スケーリングを介して出力分布を平滑化します。
私たちのアプローチは、最先端の ELECTRA スタイルの事前トレーニング方法のパフォーマンスに匹敵すると同時に、補助モデルの共同トレーニングによってもたらされる計算とメモリのコストを大幅に削減します。
また、私たちの方法はハイパーパラメータに対する感度を低下させ、トレーニング前の安定性を高めます。

要約(オリジナル)

ELECTRA pre-trains language models by detecting tokens in a sequence that have been replaced by an auxiliary model. Although ELECTRA offers a significant boost in efficiency, its potential is constrained by the training cost brought by the auxiliary model. Notably, this model, which is jointly trained with the main model, only serves to assist the training of the main model and is discarded post-training. This results in a substantial amount of training cost being expended in vain. To mitigate this issue, we propose Fast-ELECTRA, which leverages an existing language model as the auxiliary model. To construct a learning curriculum for the main model, we smooth its output distribution via temperature scaling following a descending schedule. Our approach rivals the performance of state-of-the-art ELECTRA-style pre-training methods, while significantly eliminating the computation and memory cost brought by the joint training of the auxiliary model. Our method also reduces the sensitivity to hyper-parameters and enhances the pre-training stability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google