Training objective drives the consistency of representational similarity across datasets

要約

プラトニック表現仮説は、最近の基礎モデルが、これらのモデルのトレーニングに使用される目的やデータ手法に関係なく、下流のタスクのパフォーマンスに応じて共有表現空間に収束しつつあると主張します。
表現上の類似性は通常、個々のデータセットに対して測定され、データセット間で必ずしも一貫しているわけではありません。
したがって、モデル表現のこの収束が、機械学習で一般的に使用されるデータセットによって混乱されるのではないかと疑問に思う人もいるかもしれません。
ここでは、モデル間の表現の類似性が、表現の構築に使用される刺激のセットによってどのように変化するかを測定する系統的な方法を提案します。
データセット間の表現上の類似性の一貫性を決定する上で、目的関数が最も重要な要素であることがわかりました。
具体的には、自己教師あり視覚モデルは、画像分類モデルや画像テキスト モデルと比較して、相対的なペアごとの類似性が 1 つのデータセットから別のデータセットに一般化する表現を学習します。
さらに、表現上の類似性とモデルのタスク動作の間の対応はデータセットに依存しており、単一ドメイン データセットで最も顕著です。
私たちの研究は、データセット間のモデル表現の類似性を体系的に測定し、それらの類似性をタスク動作の違いに結び付けるためのフレームワークを提供します。

要約(オリジナル)

The Platonic Representation Hypothesis claims that recent foundation models are converging to a shared representation space as a function of their downstream task performance, irrespective of the objectives and data modalities used to train these models. Representational similarity is generally measured for individual datasets and is not necessarily consistent across datasets. Thus, one may wonder whether this convergence of model representations is confounded by the datasets commonly used in machine learning. Here, we propose a systematic way to measure how representational similarity between models varies with the set of stimuli used to construct the representations. We find that the objective function is the most crucial factor in determining the consistency of representational similarities across datasets. Specifically, self-supervised vision models learn representations whose relative pairwise similarities generalize better from one dataset to another compared to those of image classification or image-text models. Moreover, the correspondence between representational similarities and the models’ task behavior is dataset-dependent, being most strongly pronounced for single-domain datasets. Our work provides a framework for systematically measuring similarities of model representations across datasets and linking those similarities to differences in task behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google