Class Incremental Learning via Likelihood Ratio Based Task Prediction

要約

クラス増分学習 (CIL) は、一連のタスクを順番に学習する、継続的な学習の挑戦的な設定です。
各タスクは一連の一意のクラスで構成されます。
CIL の主な特徴は、テスト時にタスク識別子 (またはタスク ID) が提供されないことです。
各テスト サンプルのタスク ID を予測することは、困難な問題です。
新しい理論に基づくアプローチ (TIL+OOD と呼ばれる) は、壊滅的な物忘れに対処するために、タスク増分学習 (TIL) 手法に基づいて、すべてのタスクの共有ネットワーク内の各タスクに固有のモデルをトレーニングすることです。
各タスクのモデルは、従来の分類子ではなく、分布外 (OOD) 検出器です。
OOD 検出器は、タスク内 (ディストリビューション内 (IND)) クラス予測と OOD 検出の両方を実行できます。
OOD 検出機能は、推論中のタスク ID 予測の鍵となります。
ただし、この論文では、CIL で利用可能な追加情報 (リプレイ データや学習されたタスクなど) を活用して、タスク ID の予測に従来の OOD 検出器を使用することは最適ではないと主張しています。
ID予測。
新しい手法を TPL (尤度比に基づくタスク ID 予測) と呼びます。
TPL は強力な CIL ベースラインを著しく上回り、壊滅的な忘却は無視できます。
TPL のコードは https://github.com/linhaowei1/TPL で公開されています。

要約(オリジナル)

Class incremental learning (CIL) is a challenging setting of continual learning, which learns a series of tasks sequentially. Each task consists of a set of unique classes. The key feature of CIL is that no task identifier (or task-id) is provided at test time. Predicting the task-id for each test sample is a challenging problem. An emerging theory-guided approach (called TIL+OOD) is to train a task-specific model for each task in a shared network for all tasks based on a task-incremental learning (TIL) method to deal with catastrophic forgetting. The model for each task is an out-of-distribution (OOD) detector rather than a conventional classifier. The OOD detector can perform both within-task (in-distribution (IND)) class prediction and OOD detection. The OOD detection capability is the key to task-id prediction during inference. However, this paper argues that using a traditional OOD detector for task-id prediction is sub-optimal because additional information (e.g., the replay data and the learned tasks) available in CIL can be exploited to design a better and principled method for task-id prediction. We call the new method TPL (Task-id Prediction based on Likelihood Ratio). TPL markedly outperforms strong CIL baselines and has negligible catastrophic forgetting. The code of TPL is publicly available at https://github.com/linhaowei1/TPL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google