A soft nearest-neighbor framework for continual semi-supervised learning

要約

タイトル：継続的な半教師あり学習のためのソフトな最近傍フレームワーク

要約：

– 現在の最先端の継続的学習アプローチは、完全にラベル付けされたデータの非現実的なシナリオに依存している。
– この問題を解決するため、著者らは、すべてのデータサンプルにラベルが付けられていない半教師あり学習のためのアプローチを提案している。
– このシナリオの主な問題は、モデルがラベルが付けられていないデータの表現を忘れ、ラベルの付いたサンプルに過剰にフィットすることである。
– モデルが柔軟にデータ分布をモデル化し、現在の課題について強力な表現を学習し、以前の課題から関連情報を抽出するために、最近傍分類器の力を利用することができる。
– 実験評価を行い、提案手法が従来手法を大幅に上回ることを示し、連続的な半教師あり学習パラダイムにおいて堅固な最先端を確立した。
– たとえば、CIFAR-100において、少なくとも30倍少ない監視（注釈の0.8％対25％）を使用していても、いくつかの手法を上回っている。
– 最後に、この手法は、低解像度と高解像度の画像の両方でうまく機能し、ImageNet-100のようなより複雑なデータセットにもシームレスにスケーリングできる。

要約(オリジナル)

Despite significant advances, the performance of state-of-the-art continual learning approaches hinges on the unrealistic scenario of fully labeled data. In this paper, we tackle this challenge and propose an approach for continual semi-supervised learning–a setting where not all the data samples are labeled. A primary issue in this scenario is the model forgetting representations of unlabeled data and overfitting the labeled samples. We leverage the power of nearest-neighbor classifiers to nonlinearly partition the feature space and flexibly model the underlying data distribution thanks to its non-parametric nature. This enables the model to learn a strong representation for the current task, and distill relevant information from previous tasks. We perform a thorough experimental evaluation and show that our method outperforms all the existing approaches by large margins, setting a solid state of the art on the continual semi-supervised learning paradigm. For example, on CIFAR-100 we surpass several others even when using at least 30 times less supervision (0.8% vs. 25% of annotations). Finally, our method works well on both low and high resolution images and scales seamlessly to more complex datasets such as ImageNet-100. The code is publicly available on https://github.com/kangzhiq/NNCSL

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI