A Probabilistic Model for Self-Supervised Learning

要約

自己教師あり学習 (SSL) は、データ拡張を通じて意味上の類似性をエンコードすることで、ラベルのないデータから意味のある表現を見つけることを目的としています。
現在の人気にもかかわらず、SSL に関する理論的な洞察はまだ不足しています。
たとえば、一般的に使用される SSL 損失関数が統計モデルに関連付けられるかどうかはまだわかっていません。OLS と同様に、一般化線形モデルや PCA は、基礎となる生成プロセスの最尤推定値として自然に現れます。
この短い論文では、興味深い特性を示す SSL の潜在変数統計モデルについて考察します。データ拡張の有益性に応じて、モデルの MLE は PCA に減少するか、単純な非対照的な損失に近づきます。
私たちはモデルを分析し、その結果を実証的に説明します。

要約(オリジナル)

Self-supervised learning (SSL) aims to find meaningful representations from unlabeled data by encoding semantic similarities through data augmentations. Despite its current popularity, theoretical insights about SSL are still scarce. For example, it is not yet known whether commonly used SSL loss functions can be related to a statistical model, much in the same as OLS, generalized linear models or PCA naturally emerge as maximum likelihood estimates of an underlying generative process. In this short paper, we consider a latent variable statistical model for SSL that exhibits an interesting property: Depending on the informativeness of the data augmentations, the MLE of the model either reduces to PCA, or approaches a simple non-contrastive loss. We analyze the model and also empirically illustrate our findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google