Toward industrial use of continual learning : new metrics proposal for class incremental learning

要約

この論文では、いくつかの高性能手法を使用した継続学習 (CL) のクラス増分学習戦略で使用される継続学習パフォーマンス指標を調査します。
特に平均タスク精度を調査します。
まず、パフォーマンスを把握するためのいくつかの簡単な実験を通じて、表現力が欠如していることを示します。
平均的なタスクのパフォーマンスを監視することは楽観的すぎて、将来の実際の産業用途において誤解を招く結論につながる可能性があることを示します。
次に、さまざまな継続的学習方法の公平でより有用な評価を与える、単純な指標である Minimal Incremental Class Accuracy (MICA) を最初に提案します。
さらに、継続学習におけるさまざまなメソッドのパフォーマンスを簡単に比較する簡単な方法を提供するために、新しく導入したメトリックだけでなく学習パフォーマンスの変動も考慮した別の単一のスカラー メトリックを導出します。

要約(オリジナル)

In this paper, we investigate continual learning performance metrics used in class incremental learning strategies for continual learning (CL) using some high performing methods. We investigate especially mean task accuracy. First, we show that it lacks of expressiveness through some simple experiments to capture performance. We show that monitoring average tasks performance is over optimistic and can lead to misleading conclusions for future real life industrial uses. Then, we propose first a simple metric, Minimal Incremental Class Accuracy (MICA) which gives a fair and more useful evaluation of different continual learning methods. Moreover, in order to provide a simple way to easily compare different methods performance in continual learning, we derive another single scalar metric that take into account the learning performance variation as well as our newly introduced metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google