Two Complementary Perspectives to Continual Learning: Ask Not Only What to Optimize, But Also How

要約

近年、ディープ ニューラル ネットワークの継続的トレーニングにおいて大幅な進歩が見られました。これは主に、損失関数に再生または正則化項を追加して、これまでのすべてのタスクにわたる結合損失を近似するアプローチのおかげです。
ただし、関節損失を完全に近似しても、これらのアプローチでは、新しいタスクのトレーニングを開始するときに一時的ではあるが大幅な忘れが依然として発生することがわかります。
この「安定性のギャップ」を動機として、継続的な学習戦略は最適化の目的だけでなく、この目的が最適化される方法にも焦点を当てるべきであると私たちは提案します。
最適化の軌道を変更する継続的な学習作業 (たとえば、勾配投影技術の使用) がいくつかありますが、この一連の研究は最適化目標を改善するための代替として位置づけられていますが、私たちはそれが補完的であるべきだと主張しています。
私たちの命題に対する経験的裏付けを求めて、リプレイ近似結合目標と勾配投影ベースの最適化ルーチンを組み合わせた、事前に登録された一連の実験を実行します。
しかし、この最初の実験的な試みでは、明確で一貫した利点は示されていません。
それにもかかわらず、私たちの概念的な議論といくつかの経験的結果は、継続学習における最適化軌道の独特の重要性を実証し、それによって継続学習研究に新たな方向性を切り開きます。

要約(オリジナル)

Recent years have seen considerable progress in the continual training of deep neural networks, predominantly thanks to approaches that add replay or regularization terms to the loss function to approximate the joint loss over all tasks so far. However, we show that even with a perfect approximation to the joint loss, these approaches still suffer from temporary but substantial forgetting when starting to train on a new task. Motivated by this ‘stability gap’, we propose that continual learning strategies should focus not only on the optimization objective, but also on the way this objective is optimized. While there is some continual learning work that alters the optimization trajectory (e.g., using gradient projection techniques), this line of research is positioned as alternative to improving the optimization objective, while we argue it should be complementary. In search of empirical support for our proposition, we perform a series of pre-registered experiments combining replay-approximated joint objectives with gradient projection-based optimization routines. However, this first experimental attempt fails to show clear and consistent benefits. Nevertheless, our conceptual arguments, as well as some of our empirical results, demonstrate the distinctive importance of the optimization trajectory in continual learning, thereby opening up a new direction for continual learning research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google