Class Incremental Learning via Likelihood Ratio Based Task Prediction

要約

クラス増分学習 (CIL) は、一連のタスクを順番に学習する、継続的な学習の挑戦的な設定です。
各タスクは一連の一意のクラスで構成されます。
CIL の主な特徴は、テスト時に各テスト サンプルのタスク識別子 (またはタスク ID) が提供されないことです。
各テスト サンプルのタスク ID を予測することは、困難な問題です。
理論的に正当化された新たな効果的なアプローチは、タスク増分学習 (TIL) 手法に基づいて、すべてのタスクの共有ネットワークでタスクごとにタスク固有のモデルをトレーニングし、忘却に対処することです。
このアプローチの各タスクのモデルは、従来の分類子ではなく、分布外 (OOD) 検出器です。
OOD 検出器は、タスク内 (ディストリビューション内 (IND)) クラス予測と OOD 検出の両方を実行できます。
OOD 検出機能は、各テスト サンプルの推論中のタスク ID 予測の鍵となります。
ただし、この論文では、CIL で利用可能な追加情報 (リプレイ データや学習されたタスクなど) を活用して、タスク ID の予測に従来の OOD 検出器を使用することは最適ではないと主張しています。
ID予測。
新しいメソッドを TPLR (尤度比に基づくタスク ID 予測}) と呼びます。
TPLR は、強力な CIL ベースラインを著しく上回ります。

要約(オリジナル)

Class incremental learning (CIL) is a challenging setting of continual learning, which learns a series of tasks sequentially. Each task consists of a set of unique classes. The key feature of CIL is that no task identifier (or task-id) is provided at test time for each test sample. Predicting the task-id for each test sample is a challenging problem. An emerging theoretically justified and effective approach is to train a task-specific model for each task in a shared network for all tasks based on a task-incremental learning (TIL) method to deal with forgetting. The model for each task in this approach is an out-of-distribution (OOD) detector rather than a conventional classifier. The OOD detector can perform both within-task (in-distribution (IND)) class prediction and OOD detection. The OOD detection capability is the key for task-id prediction during inference for each test sample. However, this paper argues that using a traditional OOD detector for task-id prediction is sub-optimal because additional information (e.g., the replay data and the learned tasks) available in CIL can be exploited to design a better and principled method for task-id prediction. We call the new method TPLR (Task-id Prediction based on Likelihood Ratio}). TPLR markedly outperforms strong CIL baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google