Self-Supervised Representation Learning with Cross-Context Learning between Global and Hypercolumn Features

要約

対照学習は、同じインスタンスの異なる拡張ビューをマッチングさせることで強力な表現をもたらすが、異なるインスタンス間の類似性を捕捉する能力に欠ける。この限界に対処する一つの一般的な方法は、知識蒸留に基づくインスタンス間の関係を捕捉するために、大域的特徴を学習することである（大域的プーリングの後）。クロスモダリティ学習に触発され、我々は、グローバル特徴量と中間層特徴量が互いに学習するよう促すことで、グローバル特徴量からのみ学習するこの既存のフレームワークを拡張する。これは、低レベルと高レベルのセマンティクス間のインスタンス関係の一貫性を強制する、グローバル特徴量とハイパーカラム特徴量の間のクロスコンテキスト学習（CGH）である。具体的には、ハイパーカラム表現を構築するために中間特徴マップを積み重ね、2つのコンテキスト（ハイパーカラムとグローバル特徴）を別々に使用してインスタンス関係を測定し、一方のコンテキストの関係を使用して他方のコンテキストの学習を導く。このクロスコンテキスト学習により、モデルは2つのコンテキスト間の差異から学習することができる。線形分類と下流タスクに関する実験結果は、我々の手法が最先端の手法を凌駕することを示している。

要約(オリジナル)

Whilst contrastive learning yields powerful representations by matching different augmented views of the same instance, it lacks the ability to capture the similarities between different instances. One popular way to address this limitation is by learning global features (after the global pooling) to capture inter-instance relationships based on knowledge distillation, where the global features of the teacher are used to guide the learning of the global features of the student. Inspired by cross-modality learning, we extend this existing framework that only learns from global features by encouraging the global features and intermediate layer features to learn from each other. This leads to our novel self-supervised framework: cross-context learning between global and hypercolumn features (CGH), that enforces the consistency of instance relations between low- and high-level semantics. Specifically, we stack the intermediate feature maps to construct a hypercolumn representation so that we can measure instance relations using two contexts (hypercolumn and global feature) separately, and then use the relations of one context to guide the learning of the other. This cross-context learning allows the model to learn from the differences between the two contexts. The experimental results on linear classification and downstream tasks show that our method outperforms the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL