Decoupled Mixup for Data-efficient Learning

要約

ミックスアップは，混合データを用いて決定境界を平滑化することにより，ニューラルネットワークの汎化性を向上させる効率的なデータ補強アプローチである．近年，動的ミックスアップ法は，混合サンプルにおいて顕著な領域を最大化する，あるいはターゲットを維持することで，これまでの静的ポリシー（線形補間など）を効果的に改良している．動的なポリシーから生成された混合サンプルは、前景オブジェクトが背景から切り離されるなど、静的なものよりもインスタンス識別性が高いという不一致がある。しかし、入力空間における動的手法による混合ポリシーの最適化は、静的なものに比べて高価な計算である。そこで、我々は動的手法のデカップリングメカニズムをデータレベルから目的関数レベルへ移行させ、一般的なデカップリングミックスアップ（DM）ロスを提案することを試みている。DMの主な効果は、重い計算オーバーヘッドを回避しつつ、mixupの本来の滑らかさを失うことなく、識別特徴に適応的に焦点を当てることができることである。その結果、DMは静的ミックスアップ法が動的ミックスアップ法に匹敵する、あるいはそれ以上の性能を達成することを可能にする。また、このことは、mixup学習において、決定境界の平滑化と識別特徴の同定の両方に注目する必要があるという興味深い目的設計の問題を導く。7つの分類データセットにまたがる教師あり学習と半教師あり学習のベンチマークに対する広範な実験により、DMに様々なmixup手法を装備することでその有効性を検証する。

要約(オリジナル)

Mixup is an efficient data augmentation approach that improves the generalization of neural networks by smoothing the decision boundary with mixed data. Recently, dynamic mixup methods have improved previous static policies effectively (e.g., linear interpolation) by maximizing salient regions or maintaining the target in mixed samples. The discrepancy is that the generated mixed samples from dynamic policies are more instance discriminative than the static ones, e.g., the foreground objects are decoupled from the background. However, optimizing mixup policies with dynamic methods in input space is an expensive computation compared to static ones. Hence, we are trying to transfer the decoupling mechanism of dynamic methods from the data level to the objective function level and propose the general decoupled mixup (DM) loss. The primary effect is that DM can adaptively focus on discriminative features without losing the original smoothness of the mixup while avoiding heavy computational overhead. As a result, DM enables static mixup methods to achieve comparable or even exceed the performance of dynamic methods. This also leads to an interesting objective design problem for mixup training that we need to focus on both smoothing the decision boundaries and identifying discriminative features. Extensive experiments on supervised and semi-supervised learning benchmarks across seven classification datasets validate the effectiveness of DM by equipping it with various mixup methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL