An Empirically Grounded Identifiability Theory Will Accelerate Self-Supervised Learning Research

要約

自己教師の学習（SSL）は、多くの現在のAIシステムを強化しています。
研究の関心と投資が増加するにつれて、SSL設計スペースは拡大し続けています。
プラトニック表現仮説（PRH）に続くSSLのプラトニックビューは、異なる方法とエンジニアリングアプローチにもかかわらず、すべての表現が同じプラトニックの理想に収束することを示唆しています。
ただし、この現象には正確な理論的説明がありません。
識別可能性理論（IT）から証拠を合成することにより、PRHがSSLで出現できることを示します。
ただし、現在のSSLの経験的成功を説明することはできません。
理論と実践のギャップを埋めるために、SSLパイプライン全体を含むより広範な理論的枠組みである特異識別性理論（SITH）と呼ばれるものに拡大することを提案します。
SITHは、SSLの暗黙的なデータの仮定に対するより深い洞察を可能にし、より解釈可能で一般化可能な表現を学習するための分野を前進させます。
将来の研究のための3つの重要な方向性を強調します。1）SSLのトレーニングダイナミクスと収束特性。
2）有限サンプル、バッ​​チサイズ、およびデータの多様性の影響。
3）建築、増強、初期化スキーム、およびオプティマイザーにおける誘導バイアスの役割。

要約(オリジナル)

Self-Supervised Learning (SSL) powers many current AI systems. As research interest and investment grow, the SSL design space continues to expand. The Platonic view of SSL, following the Platonic Representation Hypothesis (PRH), suggests that despite different methods and engineering approaches, all representations converge to the same Platonic ideal. However, this phenomenon lacks precise theoretical explanation. By synthesizing evidence from Identifiability Theory (IT), we show that the PRH can emerge in SSL. However, current IT cannot explain SSL’s empirical success. To bridge the gap between theory and practice, we propose expanding IT into what we term Singular Identifiability Theory (SITh), a broader theoretical framework encompassing the entire SSL pipeline. SITh would allow deeper insights into the implicit data assumptions in SSL and advance the field towards learning more interpretable and generalizable representations. We highlight three critical directions for future research: 1) training dynamics and convergence properties of SSL; 2) the impact of finite samples, batch size, and data diversity; and 3) the role of inductive biases in architecture, augmentations, initialization schemes, and optimizers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google