Information Flow in Self-Supervised Learning

要約

このペーパーでは、行列情報理論のレンズを通して自己教師あり学習 (SSL) 手法を理解し、強化するための包括的なツールボックスを提供します。
具体的には、行列の相互情報量と結合エントロピーの原理を活用することで、対照的手法と特徴無相関化ベースの手法の両方に対する統合分析を提供します。
さらに、マスク画像モデリングの強化として、行列情報理論に基づいた行列変分マスク自動エンコーダ (M-MAE) 法を提案します。
実証的な評価では、最先端の手法と比較した M-MAE の有効性が強調されており、いずれも ImageNet 上で線形プローブ ViT-Base で 3.9% の改善、ViT-Large の微調整で 1% の改善が見られました。
。

要約(オリジナル)

In this paper, we provide a comprehensive toolbox for understanding and enhancing self-supervised learning (SSL) methods through the lens of matrix information theory. Specifically, by leveraging the principles of matrix mutual information and joint entropy, we offer a unified analysis for both contrastive and feature decorrelation based methods. Furthermore, we propose the matrix variational masked auto-encoder (M-MAE) method, grounded in matrix information theory, as an enhancement to masked image modeling. The empirical evaluations underscore the effectiveness of M-MAE compared with the state-of-the-art methods, including a 3.9% improvement in linear probing ViT-Base, and a 1% improvement in fine-tuning ViT-Large, both on ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google