Towards Democratizing Joint-Embedding Self-Supervised Learning

要約

Joint Embedding Self-Supervised Learning (JE-SSL)は、ラベルのない大規模データを効果的に活用することが期待できるため、近年急速に発展してきている。JE-SSL手法の開発は、膨大な計算資源を用いて、下流の分類精度を常に向上させることを主な目的としており、一般的には、親となるJE-SSL手法から受け継いだ洞察や直感に基づいて行われてきました。例えば、SimCLRは競争力のある精度を得るために非常に大きなミニバッチを必要とする、強力で計算速度の遅いデータ補強が必要である、などです。この研究では、JE-SSLの潜在能力を最大限に引き出し、不必要な制限をなくすことを目的として、このような誤った先入観を否定しています。実際、異なる下流タスクの性能を注意深く評価し、手法のハイパーパラメータを適切に最適化すると、ほとんどの場合（常にではないにしても）、これらの広範な誤解が成立しないことが分かる。例えば、SimCLRを訓練して有用な表現を学習させることが可能であることを、1つの画像パッチをネガティブな例として用い、ポジティブなペアのための唯一のデータ補強として単純なガウスノイズを用いて示しました。また、JE-SSLを民主化し、研究者がより広範な手法の評価を容易に行えるようにするため、SSL用に最適化したPyTorchライブラリを紹介する。

要約(オリジナル)

Joint Embedding Self-Supervised Learning (JE-SSL) has seen rapid developments in recent years, due to its promise to effectively leverage large unlabeled data. The development of JE-SSL methods was driven primarily by the search for ever increasing downstream classification accuracies, using huge computational resources, and typically built upon insights and intuitions inherited from a close parent JE-SSL method. This has led unwittingly to numerous pre-conceived ideas that carried over across methods e.g. that SimCLR requires very large mini batches to yield competitive accuracies; that strong and computationally slow data augmentations are required. In this work, we debunk several such ill-formed a priori ideas in the hope to unleash the full potential of JE-SSL free of unnecessary limitations. In fact, when carefully evaluating performances across different downstream tasks and properly optimizing hyper-parameters of the methods, we most often — if not always — see that these widespread misconceptions do not hold. For example we show that it is possible to train SimCLR to learn useful representations, while using a single image patch as negative example, and simple Gaussian noise as the only data augmentation for the positive pair. Along these lines, in the hope to democratize JE-SSL and to allow researchers to easily make more extensive evaluations of their methods, we introduce an optimized PyTorch library for SSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL