Metalearning Continual Learning Algorithms

要約

汎用学習システムは、絶えず変化する環境で、オープンエンドの方法で自分自身を改善する必要があります。
ただし、ニューラルネットワークの従来の学習アルゴリズムは、壊滅的な忘却（CF）に苦しんでいます。つまり、新しいタスクが学習されたときに以前に獲得したスキルは忘れられます。
CFを避けるための新しいアルゴリズムを手作りする代わりに、自己参照ニューラルネットワークをトレーニングするための自動化された継続的な学習（ACL）を提案します。
ACLは、継続的な学習（CL）Desiderata（古いタスクと新しいタスクの両方で優れたパフォーマンス）をメタレーニングの目標にエンコードします。
私たちの実験は、ACLが「コンテスト内の壊滅的な忘却」を効果的に解決することを示しています。
ACL学習アルゴリズムは、リプレイのない設定でのスプリットマニストベンチマークで、手作りの学習アルゴリズムと一般的なメタ通過学習方法の両方を上回り、複数の標準画像分類データセットで構成される多様なタスクの継続的な学習を可能にします。
また、ACLと事前訓練を受けたモデルを活用する最先端のCLメソッドと比較することにより、コンテキスト内CLの現在の制限についても説明します。
全体として、CLの長年の問題にいくつかの新しい視点をもたらします。

要約(オリジナル)

General-purpose learning systems should improve themselves in open-ended fashion in ever-changing environments. Conventional learning algorithms for neural networks, however, suffer from catastrophic forgetting (CF), i.e., previously acquired skills are forgotten when a new task is learned. Instead of hand-crafting new algorithms for avoiding CF, we propose Automated Continual Learning (ACL) to train self-referential neural networks to metalearn their own in-context continual (meta)learning algorithms. ACL encodes continual learning (CL) desiderata — good performance on both old and new tasks — into its metalearning objectives. Our experiments demonstrate that ACL effectively resolves ‘in-context catastrophic forgetting,’ a problem that naive in-context learning algorithms suffer from; ACL-learned algorithms outperform both hand-crafted learning algorithms and popular meta-continual learning methods on the Split-MNIST benchmark in the replay-free setting, and enables continual learning of diverse tasks consisting of multiple standard image classification datasets. We also discuss the current limitations of in-context CL by comparing ACL with state-of-the-art CL methods that leverage pre-trained models. Overall, we bring several novel perspectives into the long-standing problem of CL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google