AMPLIFY:Attention-based Mixup for Performance Improvement and Label Smoothing in Transformer

要約

Mixup は、さまざまな元のサンプルの線形結合を集約することによって、新しい拡張サンプルを生成する効果的なデータ拡張方法です。
ただし、元のサンプルにノイズや異常な特徴がある場合、Mixup はそれらを拡張サンプルに伝播し、これらの外れ値に対するモデルの感度が高くなる可能性があります。
この問題を解決するために、本論文では AMPLIFY と呼ばれる新しいミックスアップ手法を提案します。
この方法では、Transformer 自体の Attendance メカニズムを使用して、追加のトレーニング可能なパラメータを増やすことなく、予測結果に対する元のサンプルのノイズや異常な値の影響を低減します。また、計算コストが非常に低いため、リソース消費が高いという問題が回避されます。
Sentence Mixup などの一般的な Mixup メソッド。
実験結果は、より少ない計算リソースコストの下で、AMPLIFY が 7 つのベンチマーク データセットでのテキスト分類タスクにおいて他の Mixup 手法よりも優れたパフォーマンスを示し、アテンション メカニズムに基づいて事前トレーニングされたモデルのパフォーマンスをさらに向上させる新しいアイデアと新しい方法を提供することを示しています。
BERT、ALBERT、RoBERTa、GPT など。
コードは https://github.com/kiwi-lilo/AMPLIFY で入手できます。

要約(オリジナル)

Mixup is an effective data augmentation method that generates new augmented samples by aggregating linear combinations of different original samples. However, if there are noises or aberrant features in the original samples, Mixup may propagate them to the augmented samples, leading to over-sensitivity of the model to these outliers . To solve this problem, this paper proposes a new Mixup method called AMPLIFY. This method uses the Attention mechanism of Transformer itself to reduce the influence of noises and aberrant values in the original samples on the prediction results, without increasing additional trainable parameters, and the computational cost is very low, thereby avoiding the problem of high resource consumption in common Mixup methods such as Sentence Mixup . The experimental results show that, under a smaller computational resource cost, AMPLIFY outperforms other Mixup methods in text classification tasks on 7 benchmark datasets, providing new ideas and new ways to further improve the performance of pre-trained models based on the Attention mechanism, such as BERT, ALBERT, RoBERTa, and GPT. Our code can be obtained at https://github.com/kiwi-lilo/AMPLIFY.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google