How Efficient Are Today’s Continual Learning Algorithms?

要約

タイトル：　今日の継続学習アルゴリズムの効率はどれほど優れているか？

要約：
– 継続学習は、常にラベル付きデータが更新される深層ニューラルネットワーク（DNN）の更新を行うことを指します。継続学習の主な目的は、成長するトレーニングデータセットをゼロから再トレーニングするのではなく、効率的に新しい情報でネットワークを更新することです。
– これまでの取り組みが主に「catastrophic forgetting（重大すぎる忘却）」に焦点を当てていたため、継続学習に対する注目は、最近の方法において、これらのアルゴリズムの効率性にほとんど注目されていないと言えます。
– 競合する学習を効果的に解決した一部の方法すら、コンピュート、メモリ、ストレージの面で非常に非効率的であり、一部の方法はゼロからトレーニングするよりもコンピューティング時間が長くかかります。
– 継続学習が現実世界で応用されるためには、これらのアルゴリズムが使用するリソースを無視することはできません。重要である「catastrophic forgetting」以上に、継続学習には問題点があると考えられます。

要約(オリジナル)

Supervised Continual learning involves updating a deep neural network (DNN) from an ever-growing stream of labeled data. While most work has focused on overcoming catastrophic forgetting, one of the major motivations behind continual learning is being able to efficiently update a network with new information, rather than retraining from scratch on the training dataset as it grows over time. Despite recent continual learning methods largely solving the catastrophic forgetting problem, there has been little attention paid to the efficiency of these algorithms. Here, we study recent methods for incremental class learning and illustrate that many are highly inefficient in terms of compute, memory, and storage. Some methods even require more compute than training from scratch! We argue that for continual learning to have real-world applicability, the research community cannot ignore the resources used by these algorithms. There is more to continual learning than mitigating catastrophic forgetting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI