Asymptotic Midpoint Mixup for Margin Balancing and Moderate Broadening

要約

特徴空間では、特徴間の崩壊により、特徴が区別されないままとなり、表現学習において重大な問題が引き起こされます。
ミックスアップなどの補間ベースの拡張手法は、クラス間崩壊と呼ばれる、異なるクラス間の崩壊問題を軽減するのに効果的であることが示されています。
ただし、粗密転移学習で生じるクラス内崩壊は、拡張アプローチでは議論されていません。
これらに対処するために、より優れた特徴拡張方法である漸近的中点ミックスアップを提案します。
この方法は、補間によって拡張された特徴を生成しますが、それらをクラス間特徴ペアの中点に向かって徐々に移動させます。
その結果、この方法は 2 つの効果をもたらします。1) すべてのクラスのマージンのバランスをとる、2) 最大の信頼性が維持されるまでマージンを適度に拡大するだけです。
私たちは、表現を視覚化して整列と均一性を測定することにより、崩壊効果を経験的に分析します。
次に、粗いから細かいへの転移学習におけるクラス内崩壊効果と、ロングテール データセットの不均衡学習におけるクラス間崩壊効果を検証します。
どちらのタスクでも、私たちの方法は他の拡張方法よりも優れたパフォーマンスを示します。

要約(オリジナル)

In the feature space, the collapse between features invokes critical problems in representation learning by remaining the features undistinguished. Interpolation-based augmentation methods such as mixup have shown their effectiveness in relieving the collapse problem between different classes, called inter-class collapse. However, intra-class collapse raised in coarse-to-fine transfer learning has not been discussed in the augmentation approach. To address them, we propose a better feature augmentation method, asymptotic midpoint mixup. The method generates augmented features by interpolation but gradually moves them toward the midpoint of inter-class feature pairs. As a result, the method induces two effects: 1) balancing the margin for all classes and 2) only moderately broadening the margin until it holds maximal confidence. We empirically analyze the collapse effects by measuring alignment and uniformity with visualizing representations. Then, we validate the intra-class collapse effects in coarse-to-fine transfer learning and the inter-class collapse effects in imbalanced learning on long-tailed datasets. In both tasks, our method shows better performance than other augmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google