Kernel-SSL: Kernel KL Divergence for Self-Supervised Learning

要約

対照学習では通常、1 つのポジティブなアンカー サンプルと多数のネガティブなサンプルを比較して、自己教師あり学習 (SSL) を実行します。
あるいは、BYOL、SimSiam、Barlow Twins などの方法で例示される非対照学習は、ネガティブ サンプルを明示的に使用せずに SSL を実現します。
対照学習の既存の分析に触発され、多くの既存の非対照学習方法の再現カーネル ヒルベルト空間 (RKHS) の理解を提供します。
続いて、RKHS 内の平均埋め込みと共分散演算子を直接最適化する新しい損失関数 Kernel-SSL を提案します。
実験では、私たちの手法 Kernel-SSL は、線形評価設定の下で ImageNet データセット上で最先端の手法を大幅に上回りました。
具体的には、100 エポックの事前トレーニングを実行する場合、私たちの方法は SimCLR よりも 4.6% 優れています。

要約(オリジナル)

Contrastive learning usually compares one positive anchor sample with lots of negative samples to perform Self-Supervised Learning (SSL). Alternatively, non-contrastive learning, as exemplified by methods like BYOL, SimSiam, and Barlow Twins, accomplishes SSL without the explicit use of negative samples. Inspired by the existing analysis for contrastive learning, we provide a reproducing kernel Hilbert space (RKHS) understanding of many existing non-contrastive learning methods. Subsequently, we propose a novel loss function, Kernel-SSL, which directly optimizes the mean embedding and the covariance operator within the RKHS. In experiments, our method Kernel-SSL outperforms state-of-the-art methods by a large margin on ImageNet datasets under the linear evaluation settings. Specifically, when performing 100 epochs pre-training, our method outperforms SimCLR by 4.6%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google