Expressiveness and Learnability: A Unifying View for Evaluating Self-Supervised Learning

要約

トレーニング中に使用されるアーキテクチャ、学習アルゴリズム、またはデータ操作にとらわれずに、監視対象ラベルにアクセスせずに自己監視学習（SSL）モデルの表現品質を分析するための統一ビューを提案します。
表現力と学習可能性のレンズを通して表現を評価できると私たちは主張します。
表現力を評価するために内在次元（ID）を使用し、学習可能性を評価するためにクラスター学習可能性（CL）を導入することを提案します。
CLは、表現をK-meansでクラスタリングすることによって取得されたラベルを予測するようにトレーニングされたKNN分類器の学習速度として測定されます。
したがって、CLとIDを1つの予測子CLIDに結合します。
SSLアルゴリズムの多様なファミリを使用した大規模な実証研究を通じて、CLIDは、他の競合する最近の評価スキームよりも、配布モデルのパフォーマンスとの相関性が高いことがわかりました。
また、ドメイン外の一般化でCLIDのベンチマークを行います。ここで、CLIDは、いくつかの分類タスクでのSSLモデルの転送パフォーマンスの予測子として機能し、競合するベースラインに関して改善をもたらします。

要約(オリジナル)

We propose a unifying view to analyze the representation quality of self-supervised learning (SSL) models without access to supervised labels, while being agnostic to the architecture, learning algorithm or data manipulation used during training. We argue that representations can be evaluated through the lens of expressiveness and learnability. We propose to use the Intrinsic Dimension (ID) to assess expressiveness and introduce Cluster Learnability (CL) to assess learnability. CL is measured as the learning speed of a KNN classifier trained to predict labels obtained by clustering the representations with K-means. We thus combine CL and ID into a single predictor: CLID. Through a large-scale empirical study with a diverse family of SSL algorithms, we find that CLID better correlates with in-distribution model performance than other competing recent evaluation schemes. We also benchmark CLID on out-of-domain generalization, where CLID serves as a predictor of the transfer performance of SSL models on several classification tasks, yielding improvements with respect to the competing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google