An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning

要約

新しいタスクまたはドメインでの基礎モデルを段階的に微調整することは、NLPでの事実上のアプローチです。
このアプローチの既知の落とし穴は、微調整中に起こる事前知識の\ emph {壊滅的な忘却}です。
そのような忘却を軽減するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることです。
いくつかの既存の作業は、バッファからリハーサルの例を選択するために、モデルを手元に置いた推論（前方パス）に依存しながら、以前のタスクの例を保存するための固定メモリバッファーを想定しています。
ただし、モデル推論の計算コストの増加とデータストレージのコストの削減を考えると、固定メモリ予算の代わりに固定計算予算でサンプルをリハーサルする設定に焦点を当てます。
サンプリングスキーム、\ texttt {\ bf mix-cd}を提案します。これは、「副次的損傷」サンプルのリハーサルを優先します。これは、以前のモデルによって正しく予測されたサンプルですが、段階的に調整されたものによって忘れられます。
私たちのスキームの核心は、追加のモデル推論を発生させることなく、担保損傷サンプルの密度を効率的に推定する手順です。
私たちのアプローチは、計算効率が良く、実装が簡単であり、計算制限設定でいくつかの主要な継続的な学習方法を上回ります。
すべてのコードは、https://github.com/jybai/mix-cd-rehearsalで公開されます。

要約(オリジナル)

Incrementally fine-tuning foundational models on new tasks or domains is now the de facto approach in NLP. A known pitfall of this approach is the \emph{catastrophic forgetting} of prior knowledge that happens during fine-tuning. A common approach to alleviate such forgetting is to rehearse samples from prior tasks during fine-tuning. Several existing works assume a fixed memory buffer to store prior task examples, while relying on inferences (forward passes) with the model at hand for choosing examples for rehearsal from the buffer. However, given the increasing computational cost of model inference, and decreasing cost of data storage, we focus on the setting to rehearse samples with a fixed computational budget instead of a fixed memory budget. We propose a sampling scheme, \texttt{\bf mix-cd}, that prioritizes rehearsal of “collateral damage” samples, which are samples predicted correctly by the prior model but forgotten by the incrementally tuned one. The crux of our scheme is a procedure to efficiently estimate the density of collateral damage samples without incurring additional model inferences. Our approach is computationally efficient, easy to implement, and outperforms several leading continual learning methods in compute-constrained settings. All the code will be publicly available at https://github.com/jybai/mix-cd-rehearsal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google