Hessian Aware Low-Rank Weight Perturbation for Continual Learning

要約

継続学習は、一連のタスクを、前のタスクで得られた知識を忘れることなく、順次学習することを目的とする。本研究では、連続学習のためのヘシアン考慮低ランク摂動アルゴリズムを提案する。連続するタスクに沿ったパラメータ遷移を重み行列変換でモデル化することで、ニューラルネットワークの各層のタスク適応パラメータに低ランク近似を適用することを提案する。具体的には、ヘシアンと提案する低ランク近似の間の定量的関係を理論的に示す。そして、近似ランクは、層固有の勾配と低ランク近似誤差によって推定される経験的損失の限界増分に従って大域的に決定される。さらに、パラメータの増加を抑えるために、重要度の低いパラメータを刈り込むことにより、モデル容量を制御する。大規模なタスクを含むデータセットを含む様々なベンチマークに対して広範な実験を行い、提案手法の有効性とスケーラビリティを実証するために、本手法をいくつかの最新の手法と比較する。その結果、特にタスク順序のロバスト性と忘却問題の処理において、我々の手法が様々なベンチマークで優れた性能を発揮することが実証された。ソースコードはhttps://github.com/lijiaqi/HALRP。

要約(オリジナル)

Continual learning aims to learn a series of tasks sequentially without forgetting the knowledge acquired from the previous ones. In this work, we propose the Hessian Aware Low-Rank Perturbation algorithm for continual learning. By modeling the parameter transitions along the sequential tasks with the weight matrix transformation, we propose to apply the low-rank approximation on the task-adaptive parameters in each layer of the neural networks. Specifically, we theoretically demonstrate the quantitative relationship between the Hessian and the proposed low-rank approximation. The approximation ranks are then globally determined according to the marginal increment of the empirical loss estimated by the layer-specific gradient and low-rank approximation error. Furthermore, we control the model capacity by pruning less important parameters to diminish the parameter growth. We conduct extensive experiments on various benchmarks, including a dataset with large-scale tasks, and compare our method against some recent state-of-the-art methods to demonstrate the effectiveness and scalability of our proposed method. Empirical results show that our method performs better on different benchmarks, especially in achieving task order robustness and handling the forgetting issue. The source code is at https://github.com/lijiaqi/HALRP.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL