Infinite Class Mixup

要約

ミックスアップは、ディープ ネットワークをトレーニングするために広く採用されている戦略であり、トレーニング ペアの入力とラベルを補間することによって追加のサンプルが強化されます。
Mixup は、分類パフォーマンス、ネットワーク キャリブレーション、および分布外の一般化を向上させることがわかっています。
効果的ではありますが、出力補間が確率レベルで実行されるため、ネットワークがクラ​​ス間の線形動作パターンを学習するという Mixup の基礎は間接的にのみ適用されます。
この論文では、混合ペアごとにラベルを混合するのではなく、分類子を直接混合することで、この制限に対処しようとしています。
私たちは、各拡張サンプルのターゲットを独自の新しい分類子として定義することを提案します。そのパラメーターは、入力ペアの分類子ベクトルの線形補間です。
可能なすべての分類子の空間は連続的であり、分類子のペア間のすべての補間にわたっています。
最適化を扱いやすくするために、二重対比無限クラス混合損失を提案します。この損失では、混合ペアの分類子を、バッチ内の他の混合ペアの分類子および予測出力の両方と対比します。
Infinite Class Mixup は本質的に汎用的なものであり、Mixup の多くのバリエーションに適用されます。
経験的に、バランスの取れたロングテールのデータ制約のあるベンチマークにおいて、標準の Mixup や RegMixup や Remix などの亜種よりも優れたパフォーマンスを示し、その幅広い適用性を強調しています。

要約(オリジナル)

Mixup is a widely adopted strategy for training deep networks, where additional samples are augmented by interpolating inputs and labels of training pairs. Mixup has shown to improve classification performance, network calibration, and out-of-distribution generalisation. While effective, a cornerstone of Mixup, namely that networks learn linear behaviour patterns between classes, is only indirectly enforced since the output interpolation is performed at the probability level. This paper seeks to address this limitation by mixing the classifiers directly instead of mixing the labels for each mixed pair. We propose to define the target of each augmented sample as a uniquely new classifier, whose parameters are a linear interpolation of the classifier vectors of the input pair. The space of all possible classifiers is continuous and spans all interpolations between classifier pairs. To make optimisation tractable, we propose a dual-contrastive Infinite Class Mixup loss, where we contrast the classifier of a mixed pair to both the classifiers and the predicted outputs of other mixed pairs in a batch. Infinite Class Mixup is generic in nature and applies to many variants of Mixup. Empirically, we show that it outperforms standard Mixup and variants such as RegMixup and Remix on balanced, long-tailed, and data-constrained benchmarks, highlighting its broad applicability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google