EMP-SSL: Towards Self-Supervised Learning in One Training Epoch

要約

タイトル：EMP-SSL：1つのトレーニングエポックでの自己教師あり学習に向けて

要約：
– 自己教師あり学習（SSL）は、画像表現の学習において大きな成功を収めている。
– しかし、多くの自己教師あり学習方法は、収束に数百のトレーニングエポックを必要とするため、効率が低い傾向にある。
– 本研究では、1つの画像インスタンスからのクロップ数を増やすことが、効率的な自己教師あり学習の鍵であることを示す。
– 本研究では、最先端のSSLメソッドの1つを活用し、重み共有、特徴量の正規化、出力量子化、勾配停止など、多くのヒューリスティック技術に頼らない単純な自己教師あり学習方法であるExtreme-Multi-Patch Self-Supervised-Learning（EMP-SSL）を紹介する。
– EMP-SSLは、トレーニングエポックを2桁減らすことができる。
– EMP-SSLは、わずか1エポックで、CIFAR-10で85.1％、CIFAR-100で58.5％、Tiny ImageNetで38.1％、ImageNet-100で58.5％の収束が可能であることを示す。
– さらに、EMP-SSLは、線形探索でCIFAR-10で91.5％、CIFAR-100で70.1％、Tiny ImageNetで51.5％、ImageNet-100で78.9％の結果を、10エポック未満で達成した。
– EMP-SSLは、基本的なSSL方法と比較して、他のドメインのデータセットへの転移性が著しく高く、大幅な改善が見られる。
– 本研究のコードは、https://github.com/tsb0601/EMP-SSLにて公開される予定である。

要約(オリジナル)

Recently, self-supervised learning (SSL) has achieved tremendous success in learning image representation. Despite the empirical success, most self-supervised learning methods are rather ‘inefficient’ learners, typically taking hundreds of training epochs to fully converge. In this work, we show that the key towards efficient self-supervised learning is to increase the number of crops from each image instance. Leveraging one of the state-of-the-art SSL method, we introduce a simplistic form of self-supervised learning method called Extreme-Multi-Patch Self-Supervised-Learning (EMP-SSL) that does not rely on many heuristic techniques for SSL such as weight sharing between the branches, feature-wise normalization, output quantization, and stop gradient, etc, and reduces the training epochs by two orders of magnitude. We show that the proposed method is able to converge to 85.1% on CIFAR-10, 58.5% on CIFAR-100, 38.1% on Tiny ImageNet and 58.5% on ImageNet-100 in just one epoch. Furthermore, the proposed method achieves 91.5% on CIFAR-10, 70.1% on CIFAR-100, 51.5% on Tiny ImageNet and 78.9% on ImageNet-100 with linear probing in less than ten training epochs. In addition, we show that EMP-SSL shows significantly better transferability to out-of-domain datasets compared to baseline SSL methods. We will release the code in https://github.com/tsb0601/EMP-SSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI