Self-supervised learning with rotation-invariant kernels

要約

画像表現の自己教師あり学習のために、超球上の回転不変カーネル (ドット積カーネルとも呼ばれます) を使用したカーネル平均埋め込みに基づく正則化損失を導入します。
最先端技術と完全に競合するだけでなく、私たちの方法は、自己教師ありトレーニングの時間とメモリの複雑さを大幅に削減し、既存のデバイスに非常に大きな埋め込み次元を実装可能にし、以前の方法よりも限られたリソースの設定に簡単に調整できるようにします。
私たちの仕事は、モデルがいくつかの定義済みの画像変換 (クロッピング、ぼかし、色のジッターなど) に対して不変であることを学習する主要なパラダイムに従いますが、埋め込み分布を正則化することによって縮退したソリューションを回避します。
私たちの特別な貢献は、最大平均不一致疑似計量に関して、埋め込み分布を超球上の一様分布に近づけるように促進する損失ファミリを提案することです。
このファミリには、異なるカーネルを使用した柔軟な正則化損失のバリアントである均一性ベースおよび情報最大化メソッドなど、以前のメソッドのいくつかの正則化が含まれていることを示します。
限られたリソースでの最先端の自己教師あり学習に対する実際的な結果を超えて、提案された汎用正則化アプローチは、自己教師あり学習方法を改善するために、カーネル方法に関する文献をより広く活用する展望を開きます。

要約(オリジナル)

We introduce a regularization loss based on kernel mean embeddings with rotation-invariant kernels on the hypersphere (also known as dot-product kernels) for self-supervised learning of image representations. Besides being fully competitive with the state of the art, our method significantly reduces time and memory complexity for self-supervised training, making it implementable for very large embedding dimensions on existing devices and more easily adjustable than previous methods to settings with limited resources. Our work follows the major paradigm where the model learns to be invariant to some predefined image transformations (cropping, blurring, color jittering, etc.), while avoiding a degenerate solution by regularizing the embedding distribution. Our particular contribution is to propose a loss family promoting the embedding distribution to be close to the uniform distribution on the hypersphere, with respect to the maximum mean discrepancy pseudometric. We demonstrate that this family encompasses several regularizers of former methods, including uniformity-based and information-maximization methods, which are variants of our flexible regularization loss with different kernels. Beyond its practical consequences for state-of-the-art self-supervised learning with limited resources, the proposed generic regularization approach opens perspectives to leverage more widely the literature on kernel methods in order to improve self-supervised learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google