Tailoring Mixup to Data using Kernel Warping functions

要約

データ拡張は、効率的な深層学習モデルを学習するために不可欠な構成要素です。
これまでに提案されたすべての拡張手法の中でも、ミックスアップとも呼ばれるトレーニング データ ポイントの線形補間が、大規模なアプリケーション パネルに効果的であることがわかっています。
大部分の作業は、混合する適切なポイントを選択するか、複雑な非線形補間を適用することに焦点を当ててきましたが、私たちは、類似していないポイントよりも、類似したポイントをより頻繁かつ強力に混合することに興味があります。
この目的を達成するために、結合するデータ ポイント間の類似性に応じて、ワーピング関数を通じて内挿係数の基礎となる分布を動的に変更することを提案します。
私たちは、多様性を失わずにそれを実現するための効率的で柔軟なフレームワークを定義します。
分類タスクと回帰タスクについて広範な実験を行い、提案した方法がモデルのパフォーマンスとキャリブレーションの両方を向上させることを示しています。
コードは https://github.com/ENSTA-U2IS/torch-uncertainty で入手できます

要約(オリジナル)

Data augmentation is an essential building block for learning efficient deep learning models. Among all augmentation techniques proposed so far, linear interpolation of training data points, also called mixup, has found to be effective for a large panel of applications. While the majority of works have focused on selecting the right points to mix, or applying complex non-linear interpolation, we are interested in mixing similar points more frequently and strongly than less similar ones. To this end, we propose to dynamically change the underlying distribution of interpolation coefficients through warping functions, depending on the similarity between data points to combine. We define an efficient and flexible framework to do so without losing in diversity. We provide extensive experiments for classification and regression tasks, showing that our proposed method improves both performance and calibration of models. Code available in https://github.com/ENSTA-U2IS/torch-uncertainty

arxiv情報

提供元, 利用サービス

arxiv.jp, Google