MixupE: Understanding and Improving Mixup from Directional Derivative Perspective

要約

ミックスアップは、入力とそのラベルのペアを線形補間することによって追加のサンプルが生成される、ディープ ニューラル ネットワークをトレーニングするための一般的なデータ拡張手法です。
この手法は、多くの学習パラダイムとアプリケーションで一般化のパフォーマンスを向上させることが知られています。
この作業では、最初に Mixup を分析し、すべての次数の無限に多くの方向微分を暗黙的に正則化することを示します。
次に、新しい洞察に基づいて Mixup を改善する新しい方法を提案します。
提案手法の有効性を実証するために、画像、表形式データ、音声、グラフなどのさまざまな領域で実験を行います。
私たちの結果は、提案された方法が、さまざまなアーキテクチャを使用してさまざまなデータセット全体で Mixup を改善することを示しています。

要約(オリジナル)

Mixup is a popular data augmentation technique for training deep neural networks where additional samples are generated by linearly interpolating pairs of inputs and their labels. This technique is known to improve the generalization performance in many learning paradigms and applications. In this work, we first analyze Mixup and show that it implicitly regularizes infinitely many directional derivatives of all orders. We then propose a new method to improve Mixup based on the novel insight. To demonstrate the effectiveness of the proposed method, we conduct experiments across various domains such as images, tabular data, speech, and graphs. Our results show that the proposed method improves Mixup across various datasets using a variety of architectures, for instance, exhibiting an improvement over Mixup by 0.8% in ImageNet top-1 accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google