Contrasting quadratic assignments for set-based representation learning

要約

対照的な学習への標準的なアプローチは、データの異なるビュー間の一致を最大化することです。
ビューはペアで順序付けられ、同じオブジェクトの異なるビューをエンコードするポジティブ、または異なるオブジェクトのビューに対応するネガティブのいずれかになります。
監視信号は、正のペア全体の類似性を最大化することから得られますが、負のペアは崩壊を回避するために必要です。
この作業では、セットがデータのビューから形成される場合、個々のペアを考慮するアプローチでは、セット内とセット間の類似性の両方を説明できないことに注意してください。
したがって、表現をトレーニングするために利用できる監視信号の情報内容を制限します。
セットとしての対照的なオブジェクトに焦点を当てることにより、オブジェクトの個々のペアを対比することを超えることを提案します。
このために、セットとグラフの類似性を評価し、対照的な学習方法の正則化としてセット対照的な目的を導出するように設計された組み合わせ二次割り当て理論を使用します。
私たちは実験を行い、私たちの方法が計量学習と自己教師あり分類のタスクのために学習された表現を改善することを示します。

要約(オリジナル)

The standard approach to contrastive learning is to maximize the agreement between different views of the data. The views are ordered in pairs, such that they are either positive, encoding different views of the same object, or negative, corresponding to views of different objects. The supervisory signal comes from maximizing the total similarity over positive pairs, while the negative pairs are needed to avoid collapse. In this work, we note that the approach of considering individual pairs cannot account for both intra-set and inter-set similarities when the sets are formed from the views of the data. It thus limits the information content of the supervisory signal available to train representations. We propose to go beyond contrasting individual pairs of objects by focusing on contrasting objects as sets. For this, we use combinatorial quadratic assignment theory designed to evaluate set and graph similarities and derive set-contrastive objective as a regularizer for contrastive learning methods. We conduct experiments and demonstrate that our method improves learned representations for the tasks of metric learning and self-supervised classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google