RankMe: Assessing the downstream performance of pretrained self-supervised representations by their rank

要約

Joint-Embedding Self Supervised Learning (JE-SSL) は急速に発展しており、多くの方法のバリエーションが出現していますが、実践者がそれらをうまく展開するのに役立つ原則的なガイドラインはほとんどありません。
その落とし穴の主な理由は、JE-SSL のコア原則によるもので、入力の再構築を一切使用しないため、トレーニングの失敗を示す視覚的な手がかりがありません。
それに非有益な損失値を追加すると、学習した表現の品質を判断するのに役立つラベルがない新しいデータセットに SSL を展開することが難しくなります。
この研究では、学習した JE-SSL 表現の品質を示す単純な教師なし基準、つまりそれらの有効ランクを開発します。
シンプルで計算しやすいとはいえ、この方法 (RankMe の造語) は、ラベルを必要とせずに、さまざまなダウンストリーム データセットであっても、JE-SSL 表現のパフォーマンスを評価できます。
RankMe のさらなる利点は、調整するトレーニングやハイパーパラメーターがないことです。
何百ものトレーニング エピソードを含む徹底的な経験的実験を通じて、データセットのラベルを含む現在の選択方法と比較して、最終的なパフォーマンスをほとんど低下させることなく、RankMe をハイパーパラメーターの選択に使用する方法を示します。
RankMe が、表現の品質評価のためにラベルに依存する機会がないドメインへの JE-SSL の展開を促進することを願っています。

要約(オリジナル)

Joint-Embedding Self Supervised Learning (JE-SSL) has seen a rapid development, with the emergence of many method variations but only few principled guidelines that would help practitioners to successfully deploy them. The main reason for that pitfall comes from JE-SSL’s core principle of not employing any input reconstruction therefore lacking visual cues of unsuccessful training. Adding non informative loss values to that, it becomes difficult to deploy SSL on a new dataset for which no labels can help to judge the quality of the learned representation. In this study, we develop a simple unsupervised criterion that is indicative of the quality of the learned JE-SSL representations: their effective rank. Albeit simple and computationally friendly, this method — coined RankMe — allows one to assess the performance of JE-SSL representations, even on different downstream datasets, without requiring any labels. A further benefit of RankMe is that it does not have any training or hyper-parameters to tune. Through thorough empirical experiments involving hundreds of training episodes, we demonstrate how RankMe can be used for hyperparameter selection with nearly no reduction in final performance compared to the current selection method that involve a dataset’s labels. We hope that RankMe will facilitate the deployment of JE-SSL towards domains that do not have the opportunity to rely on labels for representations’ quality assessment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google