New metrics for analyzing continual learners

要約

ディープニューラルネットワークは、固定されたクラスセットから独立し、同一に分布するデータに対して学習した場合、顕著な性能を示す。しかし、実世界のシナリオでは、複数の分類タスクが連続して提示される連続的なデータの流れでモデルを学習することが望ましい場合がある。継続学習（CL）として知られるこのシナリオは、新しいタスクを学習しながら古いタスクの知識を維持するのに苦労する標準的な学習アルゴリズムに課題を突きつける。この安定性と可塑性のジレンマは、依然としてCLの中心であり、安定性と可塑性を別々に適切に測定するための複数の測定基準が提案されている。しかし、分類タスクの難易度の上昇を考慮したものはなく、その結果、どのモデルでも本質的に性能が低下する。その意味で、我々は現在の測定基準のいくつかの限界を分析し、セットアップによる忘却の存在を特定する。そこで、タスクの難易度の上昇を考慮した新たなメトリクスを提案する。ベンチマークデータセットでの実験を通じて、我々の提案するメトリクスが、継続的学習環境においてモデルが達成する安定性と可塑性のトレードオフに関する新たな洞察を提供できることを実証する。

要約(オリジナル)

Deep neural networks have shown remarkable performance when trained on independent and identically distributed data from a fixed set of classes. However, in real-world scenarios, it can be desirable to train models on a continuous stream of data where multiple classification tasks are presented sequentially. This scenario, known as Continual Learning (CL) poses challenges to standard learning algorithms which struggle to maintain knowledge of old tasks while learning new ones. This stability-plasticity dilemma remains central to CL and multiple metrics have been proposed to adequately measure stability and plasticity separately. However, none considers the increasing difficulty of the classification task, which inherently results in performance loss for any model. In that sense, we analyze some limitations of current metrics and identify the presence of setup-induced forgetting. Therefore, we propose new metrics that account for the task’s increasing difficulty. Through experiments on benchmark datasets, we demonstrate that our proposed metrics can provide new insights into the stability-plasticity trade-off achieved by models in the continual learning environment.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL