Establishing a stronger baseline for lightweight contrastive models

要約

最近の研究では、MobileNet や EfficientNet など、特別に設計された効率的なネットワークの自己教師あり対比学習におけるパフォーマンスの低下が報告されています。
この問題に対処する一般的な方法は、事前トレーニング済みの対照教師モデルを導入し、教師によって生成された蒸留信号を使用して軽量ネットワークをトレーニングすることです。
ただし、教師モデルが利用できない場合に事前トレーニングするには時間とリソースがかかります。
この作業では、事前トレーニングされた教師モデルを使用せずに、軽量の対照モデルのためのより強力なベースラインを確立することを目的としています。
具体的には、効率的なモデルの最適なレシピは大規模なモデルの最適レシピとは異なり、以前の研究のように ResNet50 と同じトレーニング設定を使用するのは不適切であることを示します。
さらに、肯定的または否定的なビューのいずれかにノイズが含まれる可能性がある、対照学習における一般的な問題を観察し、この問題を軽減するために InfoNCE 損失の平滑化バージョンを提案します。
その結果、ImageNet 上の MobileNet-V3-Large では線形評価結果が 36.3\% から 62.3\% に、EfficientNet-B0 では 42.2\% から 65.8\% に改善され、ResNet50 との精度の差を $5\ で埋めることに成功しました。
パラメータが $ 倍少なくなります。
私たちの研究により、軽量の対照モデルの使用が促進されることを願っています。

要約(オリジナル)

Recent research has reported a performance degradation in self-supervised contrastive learning for specially designed efficient networks, such as MobileNet and EfficientNet. A common practice to address this problem is to introduce a pretrained contrastive teacher model and train the lightweight networks with distillation signals generated by the teacher. However, it is time and resource consuming to pretrain a teacher model when it is not available. In this work, we aim to establish a stronger baseline for lightweight contrastive models without using a pretrained teacher model. Specifically, we show that the optimal recipe for efficient models is different from that of larger models, and using the same training settings as ResNet50, as previous research does, is inappropriate. Additionally, we observe a common issu e in contrastive learning where either the positive or negative views can be noisy, and propose a smoothed version of InfoNCE loss to alleviate this problem. As a result, we successfully improve the linear evaluation results from 36.3\% to 62.3\% for MobileNet-V3-Large and from 42.2\% to 65.8\% for EfficientNet-B0 on ImageNet, closing the accuracy gap to ResNet50 with $5\times$ fewer parameters. We hope our research will facilitate the usage of lightweight contrastive models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google