A Distinct Unsupervised Reference Model From The Environment Helps Continual Learning

要約

既存の継続的な学習方法は、主に完全に監視されたシナリオに焦点を当てており、環境で利用可能なラベル付けされていないデータを利用することはまだできません.
最近のいくつかの研究では、ラベルなしデータが利用可能な半教師付き継続学習 (SSCL) 設定を調査しようとしましたが、それはラベル付きデータと同じ分布からのみです。
この仮定は、実際のアプリケーションにはまだ十分に一般的ではなく、教師なしデータの利用を制限しています。
この作業では、Open-Set Semi-Supervised Continual Learning (OSSCL) を紹介します。これは、環境内の分布外 (OoD) のラベルのないサンプルが in-
配布物。
この構成の下で、2 つの異なる部分を持つモデルを提示します。(i) 参照ネットワークは、広範なラベルのないサンプルを使用して、環境内の汎用的でタスクに依存しない知識を取得します。(ii) 学習者ネットワークは、学習するように設計されています。
監視されたサンプルを活用することによるタスク固有の表現。
参照モデルは、極めて重要な表現空間を提供するだけでなく、ラベルのないデータを分離してより効率的に利用できるようにします。
さまざまな実験を実施することにより、競合他社と比較して当社のモデルの優れた性能を示し、提案されたモデルの各コンポーネントの有効性を証明します。

要約(オリジナル)

The existing continual learning methods are mainly focused on fully-supervised scenarios and are still not able to take advantage of unlabeled data available in the environment. Some recent works tried to investigate semi-supervised continual learning (SSCL) settings in which the unlabeled data are available, but it is only from the same distribution as the labeled data. This assumption is still not general enough for real-world applications and restricts the utilization of unsupervised data. In this work, we introduce Open-Set Semi-Supervised Continual Learning (OSSCL), a more realistic semi-supervised continual learning setting in which out-of-distribution (OoD) unlabeled samples in the environment are assumed to coexist with the in-distribution ones. Under this configuration, we present a model with two distinct parts: (i) the reference network captures general-purpose and task-agnostic knowledge in the environment by using a broad spectrum of unlabeled samples, (ii) the learner network is designed to learn task-specific representations by exploiting supervised samples. The reference model both provides a pivotal representation space and also segregates unlabeled data to exploit them more efficiently. By performing a diverse range of experiments, we show the superior performance of our model compared with other competitors and prove the effectiveness of each component of the proposed model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google