RPN: A Word Vector Level Data Augmentation Algorithm in Deep Learning for Language Understanding

要約

データ拡張は、モデルのパフォーマンスを向上させるために機械学習で広く使用されている手法です。
ただし、自然言語理解 (NLU) における既存のデータ拡張技術は、自然言語のバリエーションの複雑さを完全には捉えていない可能性があり、大規模なデータセットに適用するのが難しい場合があります。
この論文では、ワード ベクトル レベルで動作する新しいデータ拡張手法であるランダム ポジション ノイズ (RPN) アルゴリズムを提案します。
RPN は、選択された単語ベクトルの既存の値に基づいてノイズを導入することによって、元のテキストの単語埋め込みを変更します。これにより、よりきめ細かい変更が可能になり、自然言語のバリエーションをより適切に捕捉できるようになります。
従来のデータ拡張手法とは異なり、RPN は仮想サンプルの更新中に計算グラフに勾配を必要としないため、大規模なデータセットへの適用が容易になります。
実験結果は、感情分析、自然言語推論、言い換え検出などのさまざまな NLU タスクにわたって、RPN が既存のデータ拡張技術よりも一貫して優れたパフォーマンスを発揮することを示しています。
さらに、RPN は低リソース設定でも優れたパフォーマンスを発揮し、単語埋め込み層を特徴とするあらゆるモデルに適用できます。
提案された RPN アルゴリズムは、NLU のパフォーマンスを向上させ、大規模な NLU タスクにおける従来のデータ拡張技術に関連する課題に対処するための有望なアプローチです。
私たちの実験結果は、RPN アルゴリズムが 7 つの NLU タスクすべてで最先端のパフォーマンスを達成したことを実証し、それによって現実世界の NLU アプリケーションに対するその有効性と可能性を強調しました。

要約(オリジナル)

Data augmentation is a widely used technique in machine learning to improve model performance. However, existing data augmentation techniques in natural language understanding (NLU) may not fully capture the complexity of natural language variations, and they can be challenging to apply to large datasets. This paper proposes the Random Position Noise (RPN) algorithm, a novel data augmentation technique that operates at the word vector level. RPN modifies the word embeddings of the original text by introducing noise based on the existing values of selected word vectors, allowing for more fine-grained modifications and better capturing natural language variations. Unlike traditional data augmentation methods, RPN does not require gradients in the computational graph during virtual sample updates, making it simpler to apply to large datasets. Experimental results demonstrate that RPN consistently outperforms existing data augmentation techniques across various NLU tasks, including sentiment analysis, natural language inference, and paraphrase detection. Moreover, RPN performs well in low-resource settings and is applicable to any model featuring a word embeddings layer. The proposed RPN algorithm is a promising approach for enhancing NLU performance and addressing the challenges associated with traditional data augmentation techniques in large-scale NLU tasks. Our experimental results demonstrated that the RPN algorithm achieved state-of-the-art performance in all seven NLU tasks, thereby highlighting its effectiveness and potential for real-world NLU applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google