A soft nearest-neighbor framework for continual semi-supervised learning

要約

大幅な進歩にもかかわらず、最先端の継続的学習アプローチのパフォーマンスは、完全にラベル付けされたデータという非現実的なシナリオにかかっています。
この論文では、この課題に取り組み、継続的な半教師あり学習、つまりすべてのデータ サンプルがラベル付けされるわけではない設定のアプローチを提案します。
このシナリオの主な問題は、モデルがラベルなしデータの表現を忘れ、ラベル付きサンプルを過剰適合してしまうことです。
最近傍分類器の力を活用して、特徴空間を非線形に分割し、そのノンパラメトリックな性質により基礎となるデータ分布を柔軟にモデル化します。
これにより、モデルは現在のタスクの強力な表現を学習し、以前のタスクから関連情報を抽出できるようになります。
私たちは徹底的な実験評価を実行し、私たちの方法が既存のすべてのアプローチを大幅に上回っており、継続的な半教師あり学習パラダイムにおける確実な最先端技術を確立していることを示しています。
たとえば、CIFAR-100 では、使用する監視が少なくとも 30 分の 1 である場合でも (注釈の 25% に対して 0.8%)、他のいくつかの製品を上回っています。
最後に、私たちの方法は低解像度画像と高解像度画像の両方でうまく機能し、ImageNet-100 などのより複雑なデータセットにシームレスに拡張できます。
コードは https://github.com/kangzhiq/NNCSL で公開されています。

要約(オリジナル)

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning–a setting where not all the data samples are labeled. A primary issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled samples. We leverage the power of nearest-neighbor classifiers to nonlinearly partition the feature space and flexibly model the underlying data distribution thanks to its non-parametric nature. This enables the model to learn a strong representation for the current task, and distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a solid state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR-100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations). Finally, our method works well on both low and high resolution images and scales seamlessly to more complex datasets such as ImageNet-100. The code is publicly available on https://github.com/kangzhiq/NNCSL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google