Local vs Global continual learning

要約

継続学習とは、過去に取得した知識を保持しながら、新しい情報をモデルに統合する問題です。
近年達成された目に見える改善にもかかわらず、継続的な学習の問題は依然として解決されていません。
既存の継続学習アルゴリズムの成功と失敗の背後にあるメカニズムをより深く理解することで、新たな成功戦略の開発が可能になります。
この研究では、マルチタスク損失近似の観点から継続学習を考察し、2 つの代替戦略、つまりローカル近似とグローバル近似を比較します。
私たちは、使用される近似に基づいて既存の継続学習アルゴリズムを分類し、一般的な継続学習設定におけるこの区別の実際的な効果を評価します。さらに、局所多項式近似の場合の最適な継続学習目標を研究し、既存のアルゴリズムを実装する例を提供します。
最適な目標

要約(オリジナル)

Continual learning is the problem of integrating new information in a model while retaining the knowledge acquired in the past. Despite the tangible improvements achieved in recent years, the problem of continual learning is still an open one. A better understanding of the mechanisms behind the successes and failures of existing continual learning algorithms can unlock the development of new successful strategies. In this work, we view continual learning from the perspective of the multi-task loss approximation, and we compare two alternative strategies, namely local and global approximations. We classify existing continual learning algorithms based on the approximation used, and we assess the practical effects of this distinction in common continual learning settings.Additionally, we study optimal continual learning objectives in the case of local polynomial approximations and we provide examples of existing algorithms implementing the optimal objectives

arxiv情報

提供元, 利用サービス

arxiv.jp, Google