Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation

要約

継続的な学習は本質的に制約された学習の問題です。
目標は、忘れない要件の下で予測子を学習することです。
いくつかの先行研究ではそのように定式化されていますが、制約された問題を明示的に解決するものではありません。
この研究では、制約付き最適化問題に直接取り組むことが可能であり、有益であることを示します。
これを行うために、ラグランジュ双対性による制約付き学習の最近の結果を活用します。
私たちは、以前のタスクからのサンプルの小さなサブセットをリプレイ バッファーに保存できるメモリベースの方法に焦点を当てています。
この設定では、継続学習問題の 2 つのバージョンを分析します。1 つはタスク レベルの制約を持つ粗いアプローチ、もう 1 つはサンプル レベルの制約を持つ細かいアプローチです。
双対変数が制約摂動に対する継続学習問題の最適値の感度を示すことを示します。
次に、この結果を利用して、粗いアプローチでバッファを分割し、より困難なタスクにより多くのリソースを割り当て、影響のあるサンプルのみを含めて細かいアプローチでバッファを設定します。
感度指標として二重変数の偏差限界を導き出し、この結果をさまざまな継続学習ベンチマークで経験的に裏付けます。
また、利用可能なメモリの量とパラメータ化の表現力に関するこれらの方法の制限についても説明します。

要約(オリジナル)

Continual learning is inherently a constrained learning problem. The goal is to learn a predictor under a no-forgetting requirement. Although several prior studies formulate it as such, they do not solve the constrained problem explicitly. In this work, we show that it is both possible and beneficial to undertake the constrained optimization problem directly. To do this, we leverage recent results in constrained learning through Lagrangian duality. We focus on memory-based methods, where a small subset of samples from previous tasks can be stored in a replay buffer. In this setting, we analyze two versions of the continual learning problem: a coarse approach with constraints at the task level and a fine approach with constraints at the sample level. We show that dual variables indicate the sensitivity of the optimal value of the continual learning problem with respect to constraint perturbations. We then leverage this result to partition the buffer in the coarse approach, allocating more resources to harder tasks, and to populate the buffer in the fine approach, including only impactful samples. We derive a deviation bound on dual variables as sensitivity indicators, and empirically corroborate this result in diverse continual learning benchmarks. We also discuss the limitations of these methods with respect to the amount of memory available and the expressiveness of the parametrization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google