An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization

要約

この論文では、自己教師あり学習のための分散-不変性-共分散正則化 (VICReg) に関する情報理論の観点を提供します。
そのために、まず、一般的に使用される非現実的な確率的ネットワークの仮定に代わるものとして、決定論的ネットワークの情報理論量を取得する方法を示します。
次に、VICReg 目的を相互情報量最大化に関連付け、それを使用して目的の根底にある仮定を強調します。
この関係に基づいて、VICReg の一般化境界を導出し、下流の教師あり学習タスクの一般化保証を提供し、相互情報量最大化の目的から派生した新しい自己教師あり学習法を提示します。これは、パフォーマンスの点で既存の方法よりも優れています。
この作業は、特に自己教師あり学習と分散-不変性-共分散正則化に関する新しい情報理論の視点を提供し、情報理論の自己教師あり学習目標を介して転移学習を改善する方法を導きます。

要約(オリジナル)

In this paper, we provide an information-theoretic perspective on Variance-Invariance-Covariance Regularization (VICReg) for self-supervised learning. To do so, we first demonstrate how information-theoretic quantities can be obtained for deterministic networks as an alternative to the commonly used unrealistic stochastic networks assumption. Next, we relate the VICReg objective to mutual information maximization and use it to highlight the underlying assumptions of the objective. Based on this relationship, we derive a generalization bound for VICReg, providing generalization guarantees for downstream supervised learning tasks and present new self-supervised learning methods, derived from a mutual information maximization objective, that outperform existing methods in terms of performance. This work provides a new information-theoretic perspective on self-supervised learning and Variance-Invariance-Covariance Regularization in particular and guides the way for improved transfer learning via information-theoretic self-supervised learning objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google