ConR: Contrastive Regularizer for Deep Imbalanced Regression

要約

不均衡な分布は現実世界のデータに広く見られます。
これらは、ディープ ニューラル ネットワークに制約を作成して少数派のラベルを表し、多数派のラベルに対するバイアスを回避します。
不均衡なアプローチの広範な本体はカテゴリカル ラベル空間に対処していますが、ラベル空間が連続である場合の回帰問題には効果的に拡張できません。
連続ラベル間のローカルおよびグローバル相関は、特徴空間内の関係を効果的にモデル化するための貴重な洞察を提供します。
この研究では、特徴空間におけるグローバルおよびローカルのラベルの類似性をモデル化し、少数のサンプルの特徴が多数の近傍に崩壊するのを防ぐ対照的な正則化装置である ConR を提案します。
ConR は、ラベル空間と特徴空間の間の不一致を識別し、これらの不一致にペナルティを課します。
ConR は、対照的な方法で 2 つの主な戦略を使用してラベル空間の連続的な性質に対処します。誤った近接にはラベルの類似性に比例してペナルティが課され、正しい近接には局所的な類似性のモデル化が奨励されます。
ConR は、重要な考慮事項を汎用的で統合が容易で効率的な方法に統合し、深刻な不均衡な回帰に効果的に対処します。
さらに、ConR は既存のアプローチと直交しており、一次元および多次元のラベル空間にスムーズに拡張します。
私たちの包括的な実験では、ConR が 4 つの大規模な深い不均衡回帰ベンチマークにおけるすべての最先端手法のパフォーマンスを大幅に向上させることが示されています。
私たちのコードは https://github.com/BorealisAI/ConR で公開されています。

要約(オリジナル)

Imbalanced distributions are ubiquitous in real-world data. They create constraints on Deep Neural Networks to represent the minority labels and avoid bias towards majority labels. The extensive body of imbalanced approaches address categorical label spaces but fail to effectively extend to regression problems where the label space is continuous. Local and global correlations among continuous labels provide valuable insights towards effectively modelling relationships in feature space. In this work, we propose ConR, a contrastive regularizer that models global and local label similarities in feature space and prevents the features of minority samples from being collapsed into their majority neighbours. ConR discerns the disagreements between the label space and feature space and imposes a penalty on these disagreements. ConR addresses the continuous nature of label space with two main strategies in a contrastive manner: incorrect proximities are penalized proportionate to the label similarities and the correct ones are encouraged to model local similarities. ConR consolidates essential considerations into a generic, easy-to-integrate, and efficient method that effectively addresses deep imbalanced regression. Moreover, ConR is orthogonal to existing approaches and smoothly extends to uni- and multi-dimensional label spaces. Our comprehensive experiments show that ConR significantly boosts the performance of all the state-of-the-art methods on four large-scale deep imbalanced regression benchmarks. Our code is publicly available in https://github.com/BorealisAI/ConR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google