AttentionMix: Data augmentation method that relies on BERT attention mechanism

要約

Mixup 手法は、コンピューター ビジョンにおける強力なデータ拡張手法であることが証明されており、ガイド付きの方法で画像混合を実行する多くの後継手法が存在します。
興味深い研究方向の 1 つは、基礎となる Mixup のアイデアを他の領域に移すことです。
自然言語処理 (NLP)。
Mixup をテキスト データに適用する方法はすでにいくつか存在しますが、新しく改善されたアプローチの余地はまだあります。
この研究では、アテンションベースの情報に依存する新しいミキシング手法である Attending Mix を紹介します。
この論文では BERT アテンション メカニズムに焦点を当てていますが、提案されたアプローチは一般にあらゆるアテンション ベースのモデルに適用できます。
AttendeeMix は 3 つの標準センチメント分類データセットで評価され、3 つのケースすべてにおいて、Mixup メカニズムとバニラ BERT メソッドを利用する 2 つのベンチマーク アプローチよりも優れたパフォーマンスを示します。
結果は、注意ベースの情報が NLP ドメインのデータ拡張に効果的に使用できることを確認します。

要約(オリジナル)

The Mixup method has proven to be a powerful data augmentation technique in Computer Vision, with many successors that perform image mixing in a guided manner. One of the interesting research directions is transferring the underlying Mixup idea to other domains, e.g. Natural Language Processing (NLP). Even though there already exist several methods that apply Mixup to textual data, there is still room for new, improved approaches. In this work, we introduce AttentionMix, a novel mixing method that relies on attention-based information. While the paper focuses on the BERT attention mechanism, the proposed approach can be applied to generally any attention-based model. AttentionMix is evaluated on 3 standard sentiment classification datasets and in all three cases outperforms two benchmark approaches that utilize Mixup mechanism, as well as the vanilla BERT method. The results confirm that the attention-based information can be effectively used for data augmentation in the NLP domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google