The Joint Effect of Task Similarity and Overparameterization on Catastrophic Forgetting — An Analytical Model

要約

継続的な学習では、壊滅的な忘却が課題のさまざまな側面の影響を受けます。
以前の研究では、タスクの類似性または過剰パラメータ化のいずれかが忘却にどのような影響を与えるかを個別に分析しました。
対照的に、私たちの論文では、タスクの類似性と過剰パラメータ化が連携して、分析可能なモデルの忘却にどのような影響を与えるかを調査します。
具体的には、2 タスク連続線形回帰に焦点を当てます。2 番目のタスクは、任意の最初のタスクのランダム直交変換 (ランダム置換タスクの抽象化) です。
私たちは、予想される忘却の正確な分析式を導き出し、微妙なパターンを明らかにします。
高度に過剰パラメータ化されたモデルでは、中間タスクの類似性が最も多くの忘却を引き起こします。
ただし、内挿しきい値付近では、予想されるタスクの類似度に応じて忘却が単調に減少します。
合成データの線形回帰と、確立された順列タスクのベンチマークのニューラル ネットワークを使用して、結果を検証します。

要約(オリジナル)

In continual learning, catastrophic forgetting is affected by multiple aspects of the tasks. Previous works have analyzed separately how forgetting is affected by either task similarity or overparameterization. In contrast, our paper examines how task similarity and overparameterization jointly affect forgetting in an analyzable model. Specifically, we focus on two-task continual linear regression, where the second task is a random orthogonal transformation of an arbitrary first task (an abstraction of random permutation tasks). We derive an exact analytical expression for the expected forgetting – and uncover a nuanced pattern. In highly overparameterized models, intermediate task similarity causes the most forgetting. However, near the interpolation threshold, forgetting decreases monotonically with the expected task similarity. We validate our findings with linear regression on synthetic data, and with neural networks on established permutation task benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google