Self-supervised learning with rotation-invariant kernels

要約

我々は、画像表現の自己教師あり学習のために、超球上の回転不変カーネル（ドットプロダクトカーネルとも呼ばれる）を用いたカーネル平均埋め込みに基づく正則化ロスを導入する。本手法は、自己教師付き学習のための時間とメモリの複雑さを大幅に削減し、既存のデバイスで非常に大きな埋め込み次元に対応できるようにするとともに、従来の方法よりもリソースが限られた設定に容易に適応できるようにしている。我々の研究は、埋め込み分布を正則化することで縮退解を回避しながら、モデルがいくつかの定義済み画像変換（切り抜き、ぼかし、色揺れなど）に対して不変であることを学習するという主要なパラダイムに従う。我々の特別な貢献は、最大平均不一致擬量に関して、埋め込み分布が超球上の一様分布に近くなるように促進する損失族を提案することである。この損失族は、一様性に基づく正則化手法や情報最大化手法など、従来の手法のいくつかの正則化を包含していることを示す。提案する一般的な正則化手法は，限られた資源で行う最先端の自己教師付き学習に対する実用的な結果をもたらすだけでなく，自己教師付き学習法を改善するために，カーネル法に関する文献をより広く活用する展望を開くものである．

要約(オリジナル)

We introduce a regularization loss based on kernel mean embeddings with rotation-invariant kernels on the hypersphere (also known as dot-product kernels) for self-supervised learning of image representations. Besides being fully competitive with the state of the art, our method significantly reduces time and memory complexity for self-supervised training, making it implementable for very large embedding dimensions on existing devices and more easily adjustable than previous methods to settings with limited resources. Our work follows the major paradigm where the model learns to be invariant to some predefined image transformations (cropping, blurring, color jittering, etc.), while avoiding a degenerate solution by regularizing the embedding distribution. Our particular contribution is to propose a loss family promoting the embedding distribution to be close to the uniform distribution on the hypersphere, with respect to the maximum mean discrepancy pseudometric. We demonstrate that this family encompasses several regularizers of former methods, including uniformity-based and information-maximization methods, which are variants of our flexible regularization loss with different kernels. Beyond its practical consequences for state-of-the-art self-supervised learning with limited resources, the proposed generic regularization approach opens perspectives to leverage more widely the literature on kernel methods in order to improve self-supervised learning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL