Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression

要約

データ拡張は、対比学習やマスク言語モデリングなど、現代の自己教師あり表現学習の実証的成功に不可欠です。
ただし、拡張の正確な役割についての理論的理解は依然として限られています。
最近の研究では、自己教師あり学習とグラフのラプラシアン演算子の上部固有空間の近似との間の関係が構築され、そのような表現上の線形プローブの学習が RKHS 回帰に関連付けられる可能性があることが示唆されています。
この洞察に基づいて、この研究では拡張ベースの事前トレーニングの統計分析を詳しく掘り下げます。
拡張によって与えられるターゲット関数の幾何学的特徴付けであるアイソメトリ特性から始めて、モデルと拡張の効果を解きほぐし、モデルの複雑さのない 2 つの一般化限界を証明します。
最初の限界は任意のエンコーダに対して機能します。予測誤差は、線形プローブを RKHS 回帰に当てはめることによって発生する推定誤差と、RKHS 近似によって生じる近似誤差の合計として分解されます。
2 番目の境界は、エンコーダーがほぼ最適である場合、つまり、拡張によって誘発された RKHS のトップディー固有空間を近似する場合に特に対処します。
私たちの分析における重要な要素は拡張の複雑さです。これを使用して、さまざまな拡張を定量的に比較し、下流のパフォーマンスへの影響を分析します。

要約(オリジナル)

Data augmentation is critical to the empirical success of modern self-supervised representation learning, such as contrastive learning and masked language modeling. However, a theoretical understanding of the exact role of augmentation remains limited. Recent work has built the connection between self-supervised learning and the approximation of the top eigenspace of a graph Laplacian operator, suggesting that learning a linear probe atop such representation can be connected to RKHS regression. Building on this insight, this work delves into a statistical analysis of augmentation-based pretraining. Starting from the isometry property, a geometric characterization of the target function given by the augmentation, we disentangle the effects of the model and the augmentation, and prove two generalization bounds that are free of model complexity. Our first bound works for an arbitrary encoder, where the prediction error is decomposed as the sum of an estimation error incurred by fitting a linear probe with RKHS regression, and an approximation error entailed by RKHS approximation. Our second bound specifically addresses the case where the encoder is near-optimal, that is it approximates the top-d eigenspace of the RKHS induced by the augmentation. A key ingredient in our analysis is the augmentation complexity, which we use to quantitatively compare different augmentations and analyze their impact on downstream performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google