Domain-Aware Augmentations for Unsupervised Online General Continual Learning

要約

継続学習は、特に教師なしオンライン一般継続学習 (UOGCL) などの教師なしシナリオを扱う場合、学習エージェントがクラス境界やタスク変更情報について事前知識を持たない場合に困難を伴いました。
これまでの研究では、教師あり設定での忘れを減らすことに重点が置かれていましたが、最近の研究では、自己教師あり学習者のほうが忘れにくいことが示されています。
この論文では、いくつかの実装トリックとともにストリーム依存のデータ拡張を定義および使用することにより、UOGCL での対照学習のメモリ使用量を強化する新しいアプローチを提案します。
私たちが提案する方法はシンプルでありながら効果的であり、考慮されたすべての設定で他の教師なしアプローチと比較して最先端の結果を達成し、教師ありと教師なしの継続学習間のギャップを削減します。
私たちのドメイン認識拡張手順は、他の再生ベースの手法にも適用できるため、継続的な学習にとって有望な戦略となります。

要約(オリジナル)

Continual Learning has been challenging, especially when dealing with unsupervised scenarios such as Unsupervised Online General Continual Learning (UOGCL), where the learning agent has no prior knowledge of class boundaries or task change information. While previous research has focused on reducing forgetting in supervised setups, recent studies have shown that self-supervised learners are more resilient to forgetting. This paper proposes a novel approach that enhances memory usage for contrastive learning in UOGCL by defining and using stream-dependent data augmentations together with some implementation tricks. Our proposed method is simple yet effective, achieves state-of-the-art results compared to other unsupervised approaches in all considered setups, and reduces the gap between supervised and unsupervised continual learning. Our domain-aware augmentation procedure can be adapted to other replay-based methods, making it a promising strategy for continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google