A Message Passing Perspective on Learning Dynamics of Contrastive Learning

要約

近年、対照学習は、自己教師あり視覚表現学習で印象的な結果を達成していますが、その学習ダイナミクスの厳密な理解はまだ不足しています。
この論文では、対照的な目的を特徴空間に同等にキャストすると、その学習ダイナミクスが解釈可能な形式を受け入れることを示します。
具体的には、その勾配降下が、対応する拡張グラフの特定のメッセージ パッシング スキームに対応することを示します。
この観点に基づいて、対照学習がアライメントの更新と均一性の更新により、識別機能を徐々に学習する方法を理論的に特徴付けます。
一方、この視点は、対照学習とメッセージ パッシング グラフ ニューラル ネットワーク (MP-GNN) との間の興味深いつながりも確立します。
このつながりは、各コミュニティで独自に開発された多くの手法の統一された理解を提供するだけでなく、MP-GNN から手法を借用して、グラフの注意、グラフの再配線、飛び跳ねる知識手法などの新しい対照的な学習バリアントを設計することも可能にします。
私たちのメッセージパッシングの観点は、対照的な学習ダイナミクスの新しい理論的理解を提供するだけでなく、2つの一見独立した領域を橋渡しし、相互に利益をもたらすより多くのインターリーブ研究を刺激する可能性があると信じています.
コードは https://github.com/PKU-ML/Message-Passing-Contrastive-Learning で入手できます。

要約(オリジナル)

In recent years, contrastive learning achieves impressive results on self-supervised visual representation learning, but there still lacks a rigorous understanding of its learning dynamics. In this paper, we show that if we cast a contrastive objective equivalently into the feature space, then its learning dynamics admits an interpretable form. Specifically, we show that its gradient descent corresponds to a specific message passing scheme on the corresponding augmentation graph. Based on this perspective, we theoretically characterize how contrastive learning gradually learns discriminative features with the alignment update and the uniformity update. Meanwhile, this perspective also establishes an intriguing connection between contrastive learning and Message Passing Graph Neural Networks (MP-GNNs). This connection not only provides a unified understanding of many techniques independently developed in each community, but also enables us to borrow techniques from MP-GNNs to design new contrastive learning variants, such as graph attention, graph rewiring, jumpy knowledge techniques, etc. We believe that our message passing perspective not only provides a new theoretical understanding of contrastive learning dynamics, but also bridges the two seemingly independent areas together, which could inspire more interleaving studies to benefit from each other. The code is available at https://github.com/PKU-ML/Message-Passing-Contrastive-Learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google