Explicit Mutual Information Maximization for Self-Supervised Learning

要約

最近、自己教師あり学習 (SSL) が広く研究されています。
理論的には、相互情報最大化 (MIM) は SSL にとって最適な基準であり、情報理論における強力な理論的基盤があります。
ただし、アプリケーションではデータ分布を分析的に利用できないため、SSL に MIM を直接適用することは困難です。
実際には、多くの既存の方法は、MIM 基準の近似的な実装とみなすことができます。
この研究は、MI の不変特性に基づいて、一般的な分布の仮定、つまりデータ分布の緩和された条件の下で、明示的な MI の最大化を SSL に適用できることを示しています。
一般化ガウス分布を分析することでこれをさらに説明します。
この結果に基づいて、二次統計のみを使用して MIM 基準に基づいて損失関数を導出します。
私たちは SSL に新しい損失を実装し、広範な実験を通じてその有効性を実証します。

要約(オリジナル)

Recently, self-supervised learning (SSL) has been extensively studied. Theoretically, mutual information maximization (MIM) is an optimal criterion for SSL, with a strong theoretical foundation in information theory. However, it is difficult to directly apply MIM in SSL since the data distribution is not analytically available in applications. In practice, many existing methods can be viewed as approximate implementations of the MIM criterion. This work shows that, based on the invariance property of MI, explicit MI maximization can be applied to SSL under a generic distribution assumption, i.e., a relaxed condition of the data distribution. We further illustrate this by analyzing the generalized Gaussian distribution. Based on this result, we derive a loss function based on the MIM criterion using only second-order statistics. We implement the new loss for SSL and demonstrate its effectiveness via extensive experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google