You Don’t Need Domain-Specific Data Augmentations When Scaling Self-Supervised Learning

要約

Joint-Embedding Architecture (JEA) を使用した自己教師あり学習 (SSL) は、優れたパフォーマンスをもたらしました。
このパラダイムのすべてのインスタンス化は、強力で確立された手作りのデータ拡張を使用してトレーニングされたため、そのようなモデルの適切なトレーニングとパフォーマンスにはデータ拡張が必要であるという一般的な信念につながりました。
一方、BEIT や MAE などの生成再構成ベースのモデル、または I-JEPA などの結合埋め込み予測アーキテクチャは、マスキングを除くデータ拡張を使用せずに優れたパフォーマンスを示しています。
この研究では、大規模な JEA における不変性とデータ拡張の重要性に挑戦します。
最近の SSL 基盤モデル – DINOv2 – でケーススタディを実行することにより、トレーニング データが十分に大きく、最先端の結果に達し、
文献中の最小限の増補。
この研究を通じて、実験的なディープラーニング研究の結果に対するコンピューティング制約の影響についても議論し、それらがまったく異なる結論につながる可能性があることを示しています。

要約(オリジナル)

Self-Supervised learning (SSL) with Joint-Embedding Architectures (JEA) has led to outstanding performances. All instantiations of this paradigm were trained using strong and well-established hand-crafted data augmentations, leading to the general belief that they are required for the proper training and performance of such models. On the other hand, generative reconstruction-based models such as BEIT and MAE or Joint-Embedding Predictive Architectures such as I-JEPA have shown strong performance without using data augmentations except masking. In this work, we challenge the importance of invariance and data-augmentation in JEAs at scale. By running a case-study on a recent SSL foundation model – DINOv2 – we show that strong image representations can be obtained with JEAs and only cropping without resizing provided the training data is large enough, reaching state-of-the-art results and using the least amount of augmentation in the literature. Through this study, we also discuss the impact of compute constraints on the outcomes of experimental deep learning research, showing that they can lead to very different conclusions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google