Embedding Space Interpolation Beyond Mini-Batch, Beyond Pairs and Beyond Examples

要約

ミックスアップとは、補間ベースのデータ拡張を指し、もともとは経験的リスク最小化 (ERM) を超える方法として動機付けられました。
その拡張は主に補間の定義とそれが行われる空間 (入力または特徴) に焦点を当てていますが、拡張プロセス自体についてはあまり研究されていません。
ほとんどのメソッドでは、生成されるサンプルの数はミニバッチ サイズに制限され、補間されるサンプルの数は入力空間で 2 (ペア) に制限されます。
私たちは、ミニバッチ サイズを超えて任意の多数の補間サンプルを生成し、埋め込み空間内のミニバッチ全体を補間する MultiMix を導入することで、この方向への進歩を進めます。
効果的には、サンプルのペア間の線形セグメントに沿ってではなく、ミニバッチの凸包全体でサンプリングします。
シーケンスデータについては、さらにDense MultiMixまで拡張します。
各空間位置でフィーチャとターゲット ラベルを高密度に補間し、損失も高密度に適用します。
密なラベルの欠如を軽減するために、例からラベルを継承し、信頼性の尺度としてアテンションによって補間係数を重み付けします。
全体として、少しの追加コストで、ミニバッチあたりの損失項の数を桁違いに増やします。
これは、埋め込み空間での補間によってのみ可能になります。
私たちは、補間が線形のみであるにもかかわらず、当社のソリューションが 4 つの異なるベンチマークで最先端のミックスアップ手法に比べて大幅な改善をもたらすことを経験的に示しています。
埋め込み空間を分析することにより、クラスがより緊密にクラスター化され、埋め込み空間全体に均一に分散されていることを示し、それによって動作の改善を説明します。

要約(オリジナル)

Mixup refers to interpolation-based data augmentation, originally motivated as a way to go beyond empirical risk minimization (ERM). Its extensions mostly focus on the definition of interpolation and the space (input or feature) where it takes place, while the augmentation process itself is less studied. In most methods, the number of generated examples is limited to the mini-batch size and the number of examples being interpolated is limited to two (pairs), in the input space. We make progress in this direction by introducing MultiMix, which generates an arbitrarily large number of interpolated examples beyond the mini-batch size and interpolates the entire mini-batch in the embedding space. Effectively, we sample on the entire convex hull of the mini-batch rather than along linear segments between pairs of examples. On sequence data, we further extend to Dense MultiMix. We densely interpolate features and target labels at each spatial location and also apply the loss densely. To mitigate the lack of dense labels, we inherit labels from examples and weight interpolation factors by attention as a measure of confidence. Overall, we increase the number of loss terms per mini-batch by orders of magnitude at little additional cost. This is only possible because of interpolating in the embedding space. We empirically show that our solutions yield significant improvement over state-of-the-art mixup methods on four different benchmarks, despite interpolation being only linear. By analyzing the embedding space, we show that the classes are more tightly clustered and uniformly spread over the embedding space, thereby explaining the improved behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google