GPS-SSL: Guided Positive Sampling to Inject Prior Into Self-Supervised Learning

要約

我々は、自己教師あり学習 (SSL) のポジティブ サンプル選択にアプリオリな知識を注入する一般的な方法である、ガイド付きポジティブ サンプリング自己教師あり学習 (GPS-SSL) を提案します。
現在の SSL メソッドは、データ拡張 (DA) を活用してポジティブなサンプルを生成し、事前知識を組み込んでいます。DA が正しくない、または弱すぎると、学習された表現の品質が大幅に低下します。
GPS-SSL は代わりに、ユークリッド距離が意味論的関係の意味のある代理となる計量空間を設計することを提案しています。
その空間では、最近傍サンプリングから陽性サンプルを生成できるようになりました。
事前の知識は、採用された DA とは独立してその計量空間に埋め込むことができます。
GPS-SSL はその単純さから、あらゆる SSL メソッドに適用できます。
SimCLR または BYOL。
GPS-SSL の主な利点は、強力な DA を調整する際のプレッシャーを軽減できることです。
たとえば、GPS-SSL は、DA が弱い Cifar10 では 85.58% に達しますが、ベースラインは 37.51% にのみ達します。
したがって、SSL の DA への依存度を下げるという目標に向けて一歩前進します。
また、強力な DA を使用している場合でも、GPS-SSL が十分に研究されていないドメインのベースラインを上回るパフォーマンスを示すことも示します。
モデルで強力なデータ拡張または最小限のデータ拡張が使用されている場合、さまざまなドメインからの多数の下流データセットで GPS-SSL を複数のベースライン SSL メソッドとともに評価します。
私たちは、GPS-SSL が原則に基づいた方法でアプリオリな知識を SSL に注入する方法を研究する上で新たな道を開くことを期待しています。

要約(オリジナル)

We propose Guided Positive Sampling Self-Supervised Learning (GPS-SSL), a general method to inject a priori knowledge into Self-Supervised Learning (SSL) positive samples selection. Current SSL methods leverage Data-Augmentations (DA) for generating positive samples and incorporate prior knowledge – an incorrect, or too weak DA will drastically reduce the quality of the learned representation. GPS-SSL proposes instead to design a metric space where Euclidean distances become a meaningful proxy for semantic relationship. In that space, it is now possible to generate positive samples from nearest neighbor sampling. Any prior knowledge can now be embedded into that metric space independently from the employed DA. From its simplicity, GPS-SSL is applicable to any SSL method, e.g. SimCLR or BYOL. A key benefit of GPS-SSL is in reducing the pressure in tailoring strong DAs. For example GPS-SSL reaches 85.58% on Cifar10 with weak DA while the baseline only reaches 37.51%. We therefore move a step forward towards the goal of making SSL less reliant on DA. We also show that even when using strong DAs, GPS-SSL outperforms the baselines on under-studied domains. We evaluate GPS-SSL along with multiple baseline SSL methods on numerous downstream datasets from different domains when the models use strong or minimal data augmentations. We hope that GPS-SSL will open new avenues in studying how to inject a priori knowledge into SSL in a principled manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google