The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation

要約

人間の監督なしで堅牢な表現を学習することの追求は、長年の課題です。
自己教師あり対比学習アプローチの最近の進歩により、さまざまな表現学習の課題に対して高いパフォーマンスが実証されています。
ただし、現在の方法はトレーニング例のランダムな変換に依存しているため、一部のケースでは、学習に大きな影響を与える可能性のある代表的でない正のペアが発生します。
この制限は、学習プロセスの収束を妨げるだけでなく、学習された表現の堅牢性を妨げるだけでなく、そのような不良バッチに対する堅牢性を向上させるためにより大きなバッチ サイズを必要とすることになります。
この論文では、Fr\’echet ResNet Distance (FRD) によるペアごとの類似度計算を採用することで、偽陽性と偽陰性のペアの影響を軽減し、それによってラベルのないデータから堅牢な表現を取得しようとしています。
提案された方法の有効性は経験的な結果によって実証されており、自己教師あり対比表現でトレーニングされた線形分類器は、STL10 では 87.74\%、Fflower102 データセットでは 99.31\% という驚異的なトップ 1 精度を達成しました。
これらの結果は、特に画像分類タスクにおいて、自己教師あり対比学習における最先端の限界を押し上げる、提案されたアプローチの可能性を強調しています。

要約(オリジナル)

The pursuit of learning robust representations without human supervision is a longstanding challenge. The recent advancements in self-supervised contrastive learning approaches have demonstrated high performance across various representation learning challenges. However, current methods depend on the random transformation of training examples, resulting in some cases of unrepresentative positive pairs that can have a large impact on learning. This limitation not only impedes the convergence of the learning process but the robustness of the learnt representation as well as requiring larger batch sizes to improve robustness to such bad batches. This paper attempts to alleviate the influence of false positive and false negative pairs by employing pairwise similarity calculations through the Fr\’echet ResNet Distance (FRD), thereby obtaining robust representations from unlabelled data. The effectiveness of the proposed method is substantiated by empirical results, where a linear classifier trained on self-supervised contrastive representations achieved an impressive 87.74\% top-1 accuracy on STL10 and 99.31\% on the Flower102 dataset. These results emphasize the potential of the proposed approach in pushing the boundaries of the state-of-the-art in self-supervised contrastive learning, particularly for image classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google