Active Continual Learning: On Balancing Knowledge Retention and Learnability

要約

一連のタスクで学んだことを忘れずに新しい知識を獲得することが、継続学習 (CL) の中心的な焦点です。
タスクは順次到着しますが、多くの場合、トレーニング データは個別に準備され、注釈が付けられ、受信する教師あり学習タスクの CL につながります。
この論文では、一連の能動学習 (AL) タスクに対する能動継続学習 (ACL) のまだ解明されていない問題について考察します。この場合、各受信タスクにはラベルなしデータのプールと注釈バジェットが含まれます。
ドメイン、クラス、タスク増分シナリオにおけるいくつかの AL および CL アルゴリズム間の有効性と相互作用を調査します。
私たちの実験では、古い知識を忘れないという 2 つの対照的な目標と、それぞれ CL と AL で新しい知識を素早く学習する能力の間のトレードオフが明らかになりました。
前のタスクに対して収集されたアノテーションに基づいて AL クエリ戦略を条件付けると、ドメインおよびタスクの増分学習におけるタスクのパフォーマンスが向上しますが、提案された忘却学習プロファイルは、クラス増分シナリオにおける AL と CL の効果のバランスにギャップがあることを示唆しています。
。

要約(オリジナル)

Acquiring new knowledge without forgetting what has been learned in a sequence of tasks is the central focus of continual learning (CL). While tasks arrive sequentially, the training data are often prepared and annotated independently, leading to the CL of incoming supervised learning tasks. This paper considers the under-explored problem of active continual learning (ACL) for a sequence of active learning (AL) tasks, where each incoming task includes a pool of unlabelled data and an annotation budget. We investigate the effectiveness and interplay between several AL and CL algorithms in the domain, class and task-incremental scenarios. Our experiments reveal the trade-off between two contrasting goals of not forgetting the old knowledge and the ability to quickly learn new knowledge in CL and AL, respectively. While conditioning the AL query strategy on the annotations collected for the previous tasks leads to improved task performance on the domain and task incremental learning, our proposed forgetting-learning profile suggests a gap in balancing the effect of AL and CL for the class-incremental scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google