Recyclable Tuning for Continual Pre-training

要約

継続的な事前トレーニングは、事前トレーニングされた言語モデル (PLM) が増大するデータから継続的に新しい知識を取得し、徐々にアップグレードされるパラダイムです。
アップグレードされた PLM がリリースされる前に、元の PLM をさまざまなタスクに合わせて調整し、適応された重みを保存している可能性があります。
ただし、アップグレードされた PLM を調整する場合、これらの古くなった適応された重みは通常無視され、破棄されるため、リソースが無駄になる可能性があります。
私たちはこの問題を最前線に掲げ、古くなった適応重みを再利用するための適切なアルゴリズムが開発されるべきであると主張します。
この目的を達成するために、継続的な事前トレーニングのためのリサイクル可能な調整タスクを定式化します。
パイロットスタディでは、継続的な事前トレーニングの後、アップグレードされた PLM が古い適応重みとある程度の互換性を維持していることがわかりました。
この発見に動機づけられて、我々は、モード接続性と機能類似性という 2 つの新しい側面から、継続的に事前トレーニングされた PLM 間の接続を分析します。
対応する調査結果に基づいて、タスクに対して初期化ベースの方法と蒸留ベースの方法の両方を提案します。
アップグレードされた PLM を調整するための収束とパフォーマンスの向上における実現可能性を実証します。
また、両方の方法を組み合わせてパフォーマンスを向上できることも示します。
ソース コードは https://github.com/thunlp/RecyclableTuning で公開されています。

要約(オリジナル)

Continual pre-training is the paradigm where pre-trained language models (PLMs) continually acquire fresh knowledge from growing data and gradually get upgraded. Before an upgraded PLM is released, we may have tuned the original PLM for various tasks and stored the adapted weights. However, when tuning the upgraded PLM, these outdated adapted weights will typically be ignored and discarded, causing a potential waste of resources. We bring this issue to the forefront and contend that proper algorithms for recycling outdated adapted weights should be developed. To this end, we formulate the task of recyclable tuning for continual pre-training. In pilot studies, we find that after continual pre-training, the upgraded PLM remains compatible with the outdated adapted weights to some extent. Motivated by this finding, we analyze the connection between continually pre-trained PLMs from two novel aspects, i.e., mode connectivity, and functional similarity. Based on the corresponding findings, we propose both an initialization-based method and a distillation-based method for our task. We demonstrate their feasibility in improving the convergence and performance for tuning the upgraded PLM. We also show that both methods can be combined to achieve better performance. The source codes are publicly available at https://github.com/thunlp/RecyclableTuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google