Unbiased Supervised Contrastive Learning

要約

多くのデータセットには偏りがあります。つまり、データセット内でのみターゲット クラスと高度に相関し、データの真の基礎となる分布ではなく、学習しやすい機能が含まれています。
このため、偏ったデータから偏りのないモデルを学習することは、ここ数年で非常に関連性の高い研究トピックになりました。
この作業では、バイアスに対してロバストな学習表現の問題に取り組みます。
最初に、偏ったデータを扱うときに最近の対照的な損失 (InfoNCE、SupCon など) が失敗する可能性がある理由を明確にすることを可能にするマージンベースの理論的フレームワークを提示します。
それに基づいて、教師ありコントラスト損失 (epsilon-SupInfoNCE) の新しい定式化を導出し、正サンプルと負サンプルの間の最小距離をより正確に制御します。
さらに、私たちの理論的フレームワークのおかげで、極端に偏ったデータでもうまく機能する、新しいバイアス緩和正則化損失である FairKL も提案します。
CIFAR10、CIFAR100、ImageNet などの標準的なビジョン データセットで提案された損失を検証し、epsilon-SupInfoNCE を使用して FairKL のバイアス緩和機能を評価し、実際のインスタンスを含む多くの偏ったデータセットで最先端のパフォーマンスに到達します。
野生のバイアス。

要約(オリジナル)

Many datasets are biased, namely they contain easy-to-learn features that are highly correlated with the target class only in the dataset but not in the true underlying distribution of the data. For this reason, learning unbiased models from biased data has become a very relevant research topic in the last years. In this work, we tackle the problem of learning representations that are robust to biases. We first present a margin-based theoretical framework that allows us to clarify why recent contrastive losses (InfoNCE, SupCon, etc.) can fail when dealing with biased data. Based on that, we derive a novel formulation of the supervised contrastive loss (epsilon-SupInfoNCE), providing more accurate control of the minimal distance between positive and negative samples. Furthermore, thanks to our theoretical framework, we also propose FairKL, a new debiasing regularization loss, that works well even with extremely biased data. We validate the proposed losses on standard vision datasets including CIFAR10, CIFAR100, and ImageNet, and we assess the debiasing capability of FairKL with epsilon-SupInfoNCE, reaching state-of-the-art performance on a number of biased datasets, including real instances of biases in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google