Parameter-Level Soft-Masking for Continual Learning

要約

継続学習におけるタスク増分学習に関する既存の研究は、主に壊滅的な忘却（CF）の防止に焦点を当ててきました。
いくつかの手法は CF なしで学習を実現していますが、共有ネットワーク内のサブネットワークを各タスクに独占させることで達成しています。これにより、知識伝達 (KT) が大幅に制限され、タスクが増えるにつれてネットワーク容量の過剰消費が生じます。
学習するとパフォーマンスが低下します。
この文書の目標は 3 つです。(1) CF の克服、(2) KT の奨励、(3) キャパシティ問題への取り組みです。
古いタスクに対する各パラメータの重要性に基づいて、トレーニング中のパラメータ更新をソフトマスク (部分的にブロック) する新しい手法 (SPG と呼ばれる) が提案されています。
各タスクは引き続きネットワーク全体を使用します。つまり、どのタスクによってネットワークのどの部分も独占されないため、KT を最大化し、容量使用量を削減できます。
私たちの知る限り、これは継続学習のためにパラメータレベルでモデルをソフトマスクした最初の研究です。
広範な実験により、3 つの目的すべてを達成する際の SPG の有効性が実証されました。
さらに注目すべき点は、CF を軽減しながら、類似したタスク (知識を共有) 間だけでなく、異なるタスク (知識の共有がほとんどない) 間でも、知識の大幅な伝達を達成できることです。

要約(オリジナル)

Existing research on task incremental learning in continual learning has primarily focused on preventing catastrophic forgetting (CF). Although several techniques have achieved learning with no CF, they attain it by letting each task monopolize a sub-network in a shared network, which seriously limits knowledge transfer (KT) and causes over-consumption of the network capacity, i.e., as more tasks are learned, the performance deteriorates. The goal of this paper is threefold: (1) overcoming CF, (2) encouraging KT, and (3) tackling the capacity problem. A novel technique (called SPG) is proposed that soft-masks (partially blocks) parameter updating in training based on the importance of each parameter to old tasks. Each task still uses the full network, i.e., no monopoly of any part of the network by any task, which enables maximum KT and reduction in capacity usage. To our knowledge, this is the first work that soft-masks a model at the parameter-level for continual learning. Extensive experiments demonstrate the effectiveness of SPG in achieving all three objectives. More notably, it attains significant transfer of knowledge not only among similar tasks (with shared knowledge) but also among dissimilar tasks (with little shared knowledge) while mitigating CF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google