OpenCIL: Benchmarking Out-of-Distribution Detection in Class-Incremental Learning

要約

クラス増分学習 (CIL) は、新しいクラスに段階的に対応できるだけでなく、古いクラスで学習した知識を維持できるモデルを学習することを目的としています。
CIL の分布外 (OOD) 検出は、この増分学習能力を維持しながら、学習されたクラスのさまざまな分布から抽出された未知のサンプルを拒否できるようにすることです。
この機能は、オープンワールドで CIL モデルを安全に展開するために非常に重要です。
しかし、CIL および OOD のそれぞれの検出における目覚ましい進歩にもかかわらず、OOD サンプルの検出における高度な CIL モデルの能力を評価する体系的かつ大規模なベンチマークが不足しています。
このギャップを埋めるために、この研究では $\textbf{OpenCIL}$ というベンチマークを確立するための包括的な実証研究を設計します。
この目的を達成するために、15 の多様な OOD 検出方法を備えた 4 つの代表的な CIL モデルを可能にする 2 つの原則的なフレームワークを提案します。これにより、CIL での OOD 検出用の 60 のベースライン モデルが得られます。
実証的評価は、一般的に使用される 6 つの OOD データセットを含む 2 つの一般的な CIL データセットに対して実行されます。
包括的な評価を通じて見つかった重要な観察の 1 つは、CIL モデルがオープン環境にさらされると、OOD サンプルと新しく追加されたクラスに大きく偏る可能性があるということです。
これを動機として、我々はさらに、CIL における OOD 検出のための新しいベースライン、すなわち双方向エネルギー正則化 ($\textbf{BER}$) を提案します。これは、エネルギー正則化を行うことで、異なる CIL モデルにおけるこれら 2 つのバイアスを軽減するように特別に設計されています。
古いクラスと新しいクラスの両方。
その優れた性能は私たちの実験でも実証されています。
すべてのコードとデータセットは https://github.com/mala-lab/OpenCIL でオープンソースです。

要約(オリジナル)

Class incremental learning (CIL) aims to learn a model that can not only incrementally accommodate new classes, but also maintain the learned knowledge of old classes. Out-of-distribution (OOD) detection in CIL is to retain this incremental learning ability, while being able to reject unknown samples that are drawn from different distributions of the learned classes. This capability is crucial to the safety of deploying CIL models in open worlds. However, despite remarkable advancements in the respective CIL and OOD detection, there lacks a systematic and large-scale benchmark to assess the capability of advanced CIL models in detecting OOD samples. To fill this gap, in this study we design a comprehensive empirical study to establish such a benchmark, named $\textbf{OpenCIL}$. To this end, we propose two principled frameworks for enabling four representative CIL models with 15 diverse OOD detection methods, resulting in 60 baseline models for OOD detection in CIL. The empirical evaluation is performed on two popular CIL datasets with six commonly-used OOD datasets. One key observation we find through our comprehensive evaluation is that the CIL models can be severely biased towards the OOD samples and newly added classes when they are exposed to open environments. Motivated by this, we further propose a new baseline for OOD detection in CIL, namely Bi-directional Energy Regularization ($\textbf{BER}$), which is specially designed to mitigate these two biases in different CIL models by having energy regularization on both old and new classes. Its superior performance is justified in our experiments. All codes and datasets are open-source at https://github.com/mala-lab/OpenCIL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google