Non-Exemplar Online Class-incremental Continual Learning via Dual-prototype Self-augment and Refinement

要約

この論文では、非模範オンライン クラス増分継続学習 (NO-CL) と呼ばれる、新しく実用的だが困難な問題を調査します。この問題は、データ サンプルをバッファリングすることなく基本クラスの識別性を維持し、単一のクラスで新しいクラスを継続的に効率的に学習することを目的としています。
パス（つまり、オンライン）データ ストリーム。
このタスクの課題は主に 2 つあります。 (1) 再生に使用できる以前のサンプルがないため、基本クラスと新規クラスの両方が深刻な壊滅的な忘却に悩まされます。
(2) オンライン データは 1 回しか観察できないため、モデル全体を完全に再トレーニングする方法はありません。たとえば、プロトタイプの位置合わせや特徴の抽出によって決定境界を再調整することなどです。
この論文では、NO-CL 問題に対する新しいデュアル プロトタイプの自己拡張および改良法 (DSR) を提案します。これは 2 つの戦略で構成されます。 1) デュアル クラス プロトタイプ: バニラ プロトタイプと高次元プロトタイプを利用して、プレ
-トレーニングされた情報を利用し、プライバシー保護とメモリ削減の両方のためにサンプル バッファではなく堅牢な準直交表現を取得します。
2) 自己拡張と洗練: ネットワーク全体を更新する代わりに、2 レベルの最適化問題を通じて、自己拡張バニラ プロトタイプに基づく追加の投影モジュールを使用して高次元プロトタイプを最適化します。
広範な実験により、NO-CL における提案された DSR の有効性と優位性が実証されました。

要約(オリジナル)

This paper investigates a new, practical, but challenging problem named Non-exemplar Online Class-incremental continual Learning (NO-CL), which aims to preserve the discernibility of base classes without buffering data examples and efficiently learn novel classes continuously in a single-pass (i.e., online) data stream. The challenges of this task are mainly two-fold: (1) Both base and novel classes suffer from severe catastrophic forgetting as no previous samples are available for replay. (2) As the online data can only be observed once, there is no way to fully re-train the whole model, e.g., re-calibrate the decision boundaries via prototype alignment or feature distillation. In this paper, we propose a novel Dual-prototype Self-augment and Refinement method (DSR) for NO-CL problem, which consists of two strategies: 1) Dual class prototypes: vanilla and high-dimensional prototypes are exploited to utilize the pre-trained information and obtain robust quasi-orthogonal representations rather than example buffers for both privacy preservation and memory reduction. 2) Self-augment and refinement: Instead of updating the whole network, we optimize high-dimensional prototypes alternatively with the extra projection module based on self-augment vanilla prototypes, through a bi-level optimization problem. Extensive experiments demonstrate the effectiveness and superiority of the proposed DSR in NO-CL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google