RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank

要約

Joint-Embedding Self Supervised Learning (JE-SSL) は急速な発展を遂げており、多くの手法のバリエーションが登場していますが、実践者がそれらをうまく導入するのに役立つ原則に基づいたガイドラインはほとんどありません。
この落とし穴の主な理由は、入力再構築を一切採用しないという JE-SSL の基本原則にあり、そのためトレーニングが失敗したことを示す視覚的な手がかりが欠けていることにあります。
これに有益ではない損失値を追加すると、学習された表現の品質を判断するのに役立つラベルがない新しいデータセットに SSL を導入することが困難になります。
この研究では、学習された JE-SSL 表現の品質を示す単純な教師なし基準、つまり有効ランクを開発します。
シンプルで計算に適していますが、このメソッド (RankMe という造語) を使用すると、ラベルを必要とせずに、異なるダウンストリーム データセット上であっても JE-SSL 表現のパフォーマンスを評価できます。
RankMe のさらなる利点は、調整するトレーニングやハイパー パラメーターが必要ないことです。
何百ものトレーニング エピソードを含む徹底した実証実験を通じて、データセットのラベルを含む現在の選択方法と比較して、最終パフォーマンスをほとんど低下させることなく、RankMe をハイパーパラメータ選択に使用できる方法を実証します。
RankMe によって、表現の品質評価にラベルに依存する機会がないドメインへの JE-SSL の導入が促進されることを期待しています。

要約(オリジナル)

Joint-Embedding Self Supervised Learning (JE-SSL) has seen a rapid development, with the emergence of many method variations but only few principled guidelines that would help practitioners to successfully deploy them. The main reason for that pitfall comes from JE-SSL’s core principle of not employing any input reconstruction therefore lacking visual cues of unsuccessful training. Adding non informative loss values to that, it becomes difficult to deploy SSL on a new dataset for which no labels can help to judge the quality of the learned representation. In this study, we develop a simple unsupervised criterion that is indicative of the quality of the learned JE-SSL representations: their effective rank. Albeit simple and computationally friendly, this method — coined RankMe — allows one to assess the performance of JE-SSL representations, even on different downstream datasets, without requiring any labels. A further benefit of RankMe is that it does not have any training or hyper-parameters to tune. Through thorough empirical experiments involving hundreds of training episodes, we demonstrate how RankMe can be used for hyperparameter selection with nearly no reduction in final performance compared to the current selection method that involve a dataset’s labels. We hope that RankMe will facilitate the deployment of JE-SSL towards domains that do not have the opportunity to rely on labels for representations’ quality assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google