Effective Self-supervised Pre-training on Low-compute networks without Distillation

要約

自己教師あり学習(SSL)は目覚しい発展を遂げているが、低コンピュータネットワークへの応用はあまり注目されていない。このため、自己教師あり学習はデバイス上に配置されるモデルに影響を与えることができません。ほとんどの先行研究は、この性能の低さを低コンピュータネットワークの容量ボトルネックに起因するとし、知識蒸留法（KD）を使用してこの問題を回避することを選択しています。本研究では、効率的なニューラルネットワークのためのSSLを再検討し、実用的な制限を引き起こす有害な要因は何か、そしてそれらが自己監視型ローコンピュータ設定に内在するものかどうかを詳しく調べます。我々は、一般的な知識とは異なり、アーキテクチャ上のボトルネックは存在しないことを発見し、性能上のボトルネックはモデルの複雑さと正則化の強さのトレードオフに関連していると診断する。特に、ローカルビューの利用がSSL法の有効性に劇的な影響を与えることを経験的に観察することから始めます。これは、ビューサンプリングが低容量ネットワークにおけるSSLの性能ボトルネックの1つであることを示唆している。我々は、大規模なニューラルネットワークのためのビューサンプリング戦略は、非常に多様な空間スケールとコンテキストでビューをマッチングする必要があり、低容量のアーキテクチャでは要求が高すぎると仮定している。我々は、ビューサンプリング機構の設計を体系化し、異なるSSL手法（例：MoCo-v2、SwAV、DINO）、異なる低容量ネットワーク（例：MobileNetV2、ResNet18、ResNet34、ViT-Ti）、異なるタスク（線形探索、物体検出、インスタンス分割、半教師付き学習）で一貫して性能を向上させる新しい学習方法を導き出す。我々の最良のモデルは、KD損失項を用いないにもかかわらず、低計算量ネットワークにおけるSSL手法の新しい最先端を確立する。

要約(オリジナル)

Despite the impressive progress of self-supervised learning (SSL), its applicability to low-compute networks has received limited attention. Reported performance has trailed behind standard supervised pre-training by a large margin, barring self-supervised learning from making an impact on models that are deployed on device. Most prior works attribute this poor performance to the capacity bottleneck of the low-compute networks and opt to bypass the problem through the use of knowledge distillation (KD). In this work, we revisit SSL for efficient neural networks, taking a closer at what are the detrimental factors causing the practical limitations, and whether they are intrinsic to the self-supervised low-compute setting. We find that, contrary to accepted knowledge, there is no intrinsic architectural bottleneck, we diagnose that the performance bottleneck is related to the model complexity vs regularization strength trade-off. In particular, we start by empirically observing that the use of local views can have a dramatic impact on the effectiveness of the SSL methods. This hints at view sampling being one of the performance bottlenecks for SSL on low-capacity networks. We hypothesize that the view sampling strategy for large neural networks, which requires matching views in very diverse spatial scales and contexts, is too demanding for low-capacity architectures. We systematize the design of the view sampling mechanism, leading to a new training methodology that consistently improves the performance across different SSL methods (e.g. MoCo-v2, SwAV, DINO), different low-size networks (e.g. MobileNetV2, ResNet18, ResNet34, ViT-Ti), and different tasks (linear probe, object detection, instance segmentation and semi-supervised learning). Our best models establish a new state-of-the-art for SSL methods on low-compute networks despite not using a KD loss term.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL