Where Should I Spend My FLOPS? Efficiency Evaluations of Visual Pre-training Methods

要約

教師あり学習は，教師あり学習と同等かそれ以上の精度を達成することが可能である．しかし，ほとんどの先行研究は，複雑なデータ補強，複数のビュー，長い学習スケジュールを追加することによって，事前学習の計算量を増加させることでこれを実現している．この研究では、関連するが直交する質問、すなわち、一定のFLOP予算がある場合、代表的な視覚タスクで高い精度を得るために最適なデータセット、モデル、（自己）教師付き学習法は何か、を調査する。大規模なデータセットが利用可能であることから、この設定は学術・産業両方のラボにとってより適切であることが多い。我々は5つの大規模データセット（JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, COCO）と6つの事前学習法（CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, supervised）を検討する。また、FLOPとCO$_2$の足跡を、標準的な画像分割タスクに転送した場合の精度と比較し、その特徴を明らかにした。その結果、事前学習法の計算効率とデータセット品質への依存性に大きな差があることがわかった。特に、我々の結果は、自己教師付き手法が大規模な未清澄データに対して本質的にスケールするという一般的な仮定に疑問を投げかけるものである。したがって、我々は、（1）データセットのキュレーションに細心の注意を払い、（2）総計算コストとの関連において精度を報告することを提唱する。

要約(オリジナル)

Self-supervised methods have achieved remarkable success in transfer learning, often achieving the same or better accuracy than supervised pre-training. Most prior work has done so by increasing pre-training computation by adding complex data augmentation, multiple views, or lengthy training schedules. In this work, we investigate a related, but orthogonal question: given a fixed FLOP budget, what are the best datasets, models, and (self-)supervised training methods for obtaining high accuracy on representative visual tasks? Given the availability of large datasets, this setting is often more relevant for both academic and industry labs alike. We examine five large-scale datasets (JFT-300M, ALIGN, ImageNet-1K, ImageNet-21K, and COCO) and six pre-training methods (CLIP, DINO, SimCLR, BYOL, Masked Autoencoding, and supervised). In a like-for-like fashion, we characterize their FLOP and CO$_2$ footprints, relative to their accuracy when transferred to a canonical image segmentation task. Our analysis reveals strong disparities in the computational efficiency of pre-training methods and their dependence on dataset quality. In particular, our results call into question the commonly-held assumption that self-supervised methods inherently scale to large, uncurated data. We therefore advocate for (1) paying closer attention to dataset curation and (2) reporting of accuracies in context of the total computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL