Provably Learning Diverse Features in Multi-View Data with Midpoint Mixup

要約

Mixup は、データ ポイントとそのラベルのランダムな凸状の組み合わせを使用したトレーニングに依存するデータ拡張手法です。
近年、Mixup は、一般化と堅牢性に関して経験的リスクの最小化を上回る利点が実証されたため、最先端の画像分類モデルのトレーニングに使用される標準プリミティブになりました。
この研究では、特徴学習の観点からこの成功の一部を説明しようとします。
私たちは、各クラスがクラスを正しく予測するために使用できる複数の関連する特徴 (またはビュー) を持つ可能性がある分類問題に焦点を当てます。
私たちの主な理論的結果は、クラスごとに 2 つの特徴を持つ非自明なクラスのデータ分布の場合、経験的リスク最小化を使用して 2 層畳み込みネットワークをトレーニングすると、特定のインスタンス化でトレーニングしながら、ほぼすべてのクラスで 1 つの特徴のみを学習できることを示しています。
Mixup はクラスごとに両方の機能を学習することに成功しました。
また、これらの理論的な洞察が、複数の特徴を持つように変更された画像ベンチマークの実際の設定にも拡張されることを経験的に示します。

要約(オリジナル)

Mixup is a data augmentation technique that relies on training using random convex combinations of data points and their labels. In recent years, Mixup has become a standard primitive used in the training of state-of-the-art image classification models due to its demonstrated benefits over empirical risk minimization with regards to generalization and robustness. In this work, we try to explain some of this success from a feature learning perspective. We focus our attention on classification problems in which each class may have multiple associated features (or views) that can be used to predict the class correctly. Our main theoretical results demonstrate that, for a non-trivial class of data distributions with two features per class, training a 2-layer convolutional network using empirical risk minimization can lead to learning only one feature for almost all classes while training with a specific instantiation of Mixup succeeds in learning both features for every class. We also show empirically that these theoretical insights extend to the practical settings of image benchmarks modified to have multiple features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google