SCALE: Online Self-Supervised Lifelong Learning without Prior Knowledge

要約

タイトル：事前知識なしのオンライン自己教示寿命学習、SCALE

要約：
– 従来の教示なし寿命学習では、以前のパターンを記憶しながら時間の経過とともに学習する能力が必要でした。しかし、これまでの研究は、受信データについて強力な事前知識（クラス境界を知っているなど）を前提としていました。
– しかし、現実の環境では、事前知識を得ることが複雑で予測不可能な場合があります。そこで、本論文では、受信データに関する事前知識がないオンライン自己教示寿命学習というより実用的な問題設定を提案します。
– この設定は、非iidデータと単一パスデータ、外部監視がなく、事前知識がないため、課題があります。この課題に対処するために、SCALE（事前知識なしの自己教示コントラスト寿命学習）を提案します。
– SCALEは、3つの主要なコンポーネントに基づいて設計されています。擬似的な監督コントラスト損失、自己教示的な忘却損失、均一な部分集合選択のためのオンラインメモリ更新です。すべての3つのコンポーネントは、学習性能を最大化するために協調して機能します。
– iidデータと4つの非iidデータストリームでSCALEの包括的な実験を行いました。その結果、CIFAR-10、CIFAR-100、TinyImageNetデータセットのkNN精度において、SCALEはすべての設定で現状の最良のアルゴリズムを上回り、精度が最大で3.83％、2.77％、5.86％向上しました。

要約(オリジナル)

Unsupervised lifelong learning refers to the ability to learn over time while memorizing previous patterns without supervision. Although great progress has been made in this direction, existing work often assumes strong prior knowledge about the incoming data (e.g., knowing the class boundaries), which can be impossible to obtain in complex and unpredictable environments. In this paper, motivated by real-world scenarios, we propose a more practical problem setting called online self-supervised lifelong learning without prior knowledge. The proposed setting is challenging due to the non-iid and single-pass data, the absence of external supervision, and no prior knowledge. To address the challenges, we propose Self-Supervised ContrAstive Lifelong LEarning without Prior Knowledge (SCALE) which can extract and memorize representations on the fly purely from the data continuum. SCALE is designed around three major components: a pseudo-supervised contrastive loss, a self-supervised forgetting loss, and an online memory update for uniform subset selection. All three components are designed to work collaboratively to maximize learning performance. We perform comprehensive experiments of SCALE under iid and four non-iid data streams. The results show that SCALE outperforms the state-of-the-art algorithm in all settings with improvements up to 3.83%, 2.77% and 5.86% in terms of kNN accuracy on CIFAR-10, CIFAR-100, and TinyImageNet datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI