Mixup Your Own Pairs

要約

表現学習では、従来、回帰は分類ほど注目されていませんでした。
分類用に設計された表現学習手法を回帰に直接適用すると、多くの場合、潜在空間で表現が断片化され、次善のパフォーマンスが得られます。
この論文では、順序性の認識と硬度という 2 つの重要な側面が無視されているために、回帰に対する対照学習の可能性が影を落としていると主張します。
これらの課題に対処するために、実際の/拡張サンプルのみに依存するのではなく、「教師あり対比回帰のために独自の対比ペアを混合する」ことを推奨します。
具体的には、Mixup を使用した回帰のための教師あり対照学習 (SupReMix) を提案します。
埋め込みレベルで、アンカーを含む混合物 (アンカーと個別のネガティブ サンプルの混合) をハード ネガティブ ペアとして、アンカーを含まない混合物 (2 つの個別のネガティブ サンプルの混合) をハード ポジティブ ペアとして受け取ります。
この戦略は、より豊富な順序情報を統合することにより、より困難な対照的なペアを定式化します。
2D 画像、体積画像、テキスト、表形式データ、時系列信号を含む 6 つの回帰データセットに対する広範な実験と理論分析を組み合わせることにより、SupReMix 事前トレーニングが回帰データの連続的な順序付けされた表現を促進し、その結果、パフォーマンスが大幅に向上することを実証しました。
回帰パフォーマンス。
さらに、SupReMix は、転移学習、不均衡なトレーニング データ、トレーニング サンプルが少ないシナリオなど、さまざまな回帰課題において他のアプローチよりも優れています。

要約(オリジナル)

In representation learning, regression has traditionally received less attention than classification. Directly applying representation learning techniques designed for classification to regression often results in fragmented representations in the latent space, yielding sub-optimal performance. In this paper, we argue that the potential of contrastive learning for regression has been overshadowed due to the neglect of two crucial aspects: ordinality-awareness and hardness. To address these challenges, we advocate ‘mixup your own contrastive pairs for supervised contrastive regression’, instead of relying solely on real/augmented samples. Specifically, we propose Supervised Contrastive Learning for Regression with Mixup (SupReMix). It takes anchor-inclusive mixtures (mixup of the anchor and a distinct negative sample) as hard negative pairs and anchor-exclusive mixtures (mixup of two distinct negative samples) as hard positive pairs at the embedding level. This strategy formulates harder contrastive pairs by integrating richer ordinal information. Through extensive experiments on six regression datasets including 2D images, volumetric images, text, tabular data, and time-series signals, coupled with theoretical analysis, we demonstrate that SupReMix pre-training fosters continuous ordered representations of regression data, resulting in significant improvement in regression performance. Furthermore, SupReMix is superior to other approaches in a range of regression challenges including transfer learning, imbalanced training data, and scenarios with fewer training samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google