MetAug: Contrastive Learning via Meta Feature Augmentation

要約

対照学習にとって重要なことは何ですか?
私たちは、対照学習は有益な特徴、つまり「ハード」（肯定的または否定的な）特徴に大きく依存していると主張します。
初期の研究では、複雑なデータ拡張と大きなバッチ サイズまたはメモリ バンクを適用することにより、より有益な機能が含まれており、最近の研究では、有益な機能を探索するための精巧なサンプリング アプローチが設計されています。
このような機能を探索する上での主な課題は、ソース マルチビュー データがランダムなデータ拡張を適用することによって生成されるため、拡張データに有用な情報を常に追加することが不可能になることです。
したがって、そのような拡張データから学習される特徴の有益性は限られています。
これに応えて、我々は潜在空間内の特徴を直接拡張し、それによって大量の入力データなしで識別表現を学習することを提案します。
メタ学習手法を実行して、エンコーダーのパフォーマンスを考慮してネットワーク パラメーターを更新する拡張ジェネレーターを構築します。
ただし、入力データが不十分であると、エンコーダーが崩壊した特徴を学習し、拡張ジェネレーターが誤動作する可能性があります。
エンコーダによる縮退マッピングの学習を回避するために、新しいマージン注入正則化が目的関数にさらに追加されています。
1 つの勾配逆伝播ステップですべての特徴を対比するために、従来のコントラスト損失の代わりに、提案された最適化主導の統合コントラスト損失を採用します。
経験的に、私たちの方法はいくつかのベンチマーク データセットで最先端の結果を達成します。

要約(オリジナル)

What matters for contrastive learning? We argue that contrastive learning heavily relies on informative features, or ‘hard’ (positive or negative) features. Early works include more informative features by applying complex data augmentations and large batch size or memory bank, and recent works design elaborate sampling approaches to explore informative features. The key challenge toward exploring such features is that the source multi-view data is generated by applying random data augmentations, making it infeasible to always add useful information in the augmented data. Consequently, the informativeness of features learned from such augmented data is limited. In response, we propose to directly augment the features in latent space, thereby learning discriminative representations without a large amount of input data. We perform a meta learning technique to build the augmentation generator that updates its network parameters by considering the performance of the encoder. However, insufficient input data may lead the encoder to learn collapsed features and therefore malfunction the augmentation generator. A new margin-injected regularization is further added in the objective function to avoid the encoder learning a degenerate mapping. To contrast all features in one gradient back-propagation step, we adopt the proposed optimization-driven unified contrastive loss instead of the conventional contrastive loss. Empirically, our method achieves state-of-the-art results on several benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google