A Simple Recipe for Competitive Low-compute Self supervised Vision Models

要約

ビジョンにおける自己教師あり手法は、小規模なアーキテクチャではパフォーマンスが大幅に低下するように見えるため、主に大規模なアーキテクチャに焦点を当ててきました。
この論文では、高性能で低計算のニューラル ネットワークをトレーニングできる単純な自己教師付き蒸留手法を提案します。
私たちの主な洞察は、既存の共同埋め込みベースの SSL メソッドを、大規模な自己管理型教師から小規模な学生モデルへの知識の抽出に転用できるということです。
したがって、私たちの方法は、ジョイント埋め込みトレーニングの 1 つのブランチを大規模な教師モデルに単純に置き換えるため、Replace one Branch (RoB) と呼ばれます。
RoB は、小規模な ResNet、MobileNet、ViT などの多数のアーキテクチャや、DINO、SwAV、iBOT などの事前トレーニング済みモデルに広く適用できます。
ImageNet データセットで事前トレーニングを行うと、RoB は、教師あり知識の蒸留と競合するモデルを生成します。
RoB を MSN に適用すると、強力な半教師付き能力を備えた学生が生まれます。
最後に、私たちの最高の ViT-Tiny モデルは、ImageNet 上の以前の SSL の最先端を $2.3\%$ 改善し、5 つのダウンストリーム転送タスク (iNaturalist、CIFAR、Clevr/Count) で監視された蒸留された DeiT と同等以上です。
、Clevr/Dist および Places)。
RoB により、小規模での実用的な自己監視が可能になることを願っています。

要約(オリジナル)

Self-supervised methods in vision have been mostly focused on large architectures as they seem to suffer from a significant performance drop for smaller architectures. In this paper, we propose a simple self-supervised distillation technique that can train high performance low-compute neural networks. Our main insight is that existing joint-embedding based SSL methods can be repurposed for knowledge distillation from a large self-supervised teacher to a small student model. Thus, we call our method Replace one Branch (RoB) as it simply replaces one branch of the joint-embedding training with a large teacher model. RoB is widely applicable to a number of architectures such as small ResNets, MobileNets and ViT, and pretrained models such as DINO, SwAV or iBOT. When pretraining on the ImageNet dataset, RoB yields models that compete with supervised knowledge distillation. When applied to MSN, RoB produces students with strong semi-supervised capabilities. Finally, our best ViT-Tiny models improve over prior SSL state-of-the-art on ImageNet by $2.3\%$ and are on par or better than a supervised distilled DeiT on five downstream transfer tasks (iNaturalist, CIFAR, Clevr/Count, Clevr/Dist and Places). We hope RoB enables practical self-supervision at smaller scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google