TriMix: Virtual embeddings and self-consistency for self-supervised learning

要約

教師あり学習（SSL）は、教師あり学習モデルのトレーニングにおけるコストとデータの制限が高いため、最近大きな注目を集めています。
SSLの現在のパラダイムは、入力スペースでのデータ拡張を利用して同じ画像のさまざまなビューを作成し、モデルをトレーニングして、類似した画像間の表現を最大化し、異なる画像の表現を最小化することです。
このアプローチは、さまざまなダウンストリームタスクで最先端の（SOTA）結果を達成しますが、それでも潜在的なスペースの拡張を調査する機会を逃します。
このホワイトペーパーでは、データの線形補間によって仮想埋め込みを生成し、モデルに新しい表現を提供するSSLの新しい概念であるTriMixを提案します。
私たちの戦略は、仮想のものから元の埋め込みを抽出するためのモデルのトレーニングに焦点を当てているため、表現学習が向上します。
さらに、仮想埋め込みと実際の埋め込みの間の一貫性を向上させる自己一貫性の用語を提案します。
TriMixは、自然画像と医用画像で構成される8つのベンチマークデータセットで検証され、両方のデータタイプで2番目に優れたモデルよりも2.71％と0.41％向上しています。
さらに、私たちのアプローチは、特に低データレジームにおいて、半教師あり学習の現在の方法を上回りました。
さらに、事前にトレーニングされたモデルは、他のデータセットへのより良い転送を示しました。

要約(オリジナル)

Self-supervised Learning (SSL) has recently gained much attention due to the high cost and data limitation in the training of supervised learning models. The current paradigm in the SSL is to utilize data augmentation at the input space to create different views of the same images and train a model to maximize the representations between similar images and minimize them for different ones. While this approach achieves state-of-the-art (SOTA) results in various downstream tasks, it still lakes the opportunity to investigate the latent space augmentation. This paper proposes TriMix, a novel concept for SSL that generates virtual embeddings through linear interpolation of the data, thus providing the model with novel representations. Our strategy focuses on training the model to extract the original embeddings from virtual ones, hence, better representation learning. Additionally, we propose a self-consistency term that improves the consistency between the virtual and actual embeddings. We validate TriMix on eight benchmark datasets consisting of natural and medical images with an improvement of 2.71% and 0.41% better than the second-best models for both data types. Further, our approach outperformed the current methods in semi-supervised learning, particularly in low data regimes. Besides, our pre-trained models showed better transfer to other datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google