Can We Break Free from Strong Data Augmentations in Self-Supervised Learning?

要約

自己教師あり学習 (SSL) は、ディープ ニューラル ネットワーク (DNN) のラベル付きデータが限られているという課題に対処するための有望なソリューションとして浮上しており、スケーラビリティの可能性をもたらします。
ただし、SSL フレームワーク内の設計の依存関係の影響については、まだ十分に調査されていません。
この研究では、さまざまな拡張機能にわたって SSL の動作を包括的に調査し、SSL モデルのパフォーマンスと学習メカニズムの形成におけるその重要な役割を明らかにします。
これらの洞察を活用して、大規模なデータ拡張の必要性を削減し、それによって学習された表現の有効性を増幅することを目的として、事前の知識を統合する新しい学習アプローチを提案します。
特に、私たちの調査結果は、事前知識を染み込ませた SSL モデルがテクスチャ バイアスの低減、ショートカットや拡張への依存の低減、自然破損と敵対的破損の両方に対する堅牢性の向上を示していることを強調しています。
これらの発見は、SSL 研究の新たな方向性を明らかにするだけでなく、DNN のパフォーマンスを向上させる道を切り開き、同時に集中的なデータ増強の必要性を軽減し、それによってスケーラビリティと現実世界の問題解決能力を強化します。

要約(オリジナル)

Self-supervised learning (SSL) has emerged as a promising solution for addressing the challenge of limited labeled data in deep neural networks (DNNs), offering scalability potential. However, the impact of design dependencies within the SSL framework remains insufficiently investigated. In this study, we comprehensively explore SSL behavior across a spectrum of augmentations, revealing their crucial role in shaping SSL model performance and learning mechanisms. Leveraging these insights, we propose a novel learning approach that integrates prior knowledge, with the aim of curtailing the need for extensive data augmentations and thereby amplifying the efficacy of learned representations. Notably, our findings underscore that SSL models imbued with prior knowledge exhibit reduced texture bias, diminished reliance on shortcuts and augmentations, and improved robustness against both natural and adversarial corruptions. These findings not only illuminate a new direction in SSL research, but also pave the way for enhancing DNN performance while concurrently alleviating the imperative for intensive data augmentation, thereby enhancing scalability and real-world problem-solving capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google