RPN: A Word Vector Level Data Augmentation Algorithm in Deep Learning for Language Understanding

要約

【タイトル】深層学習の言語理解における単語ベクトルレベルのデータ拡張アルゴリズムRPN

【要約】

– 機械学習において、データ拡張はモデル性能を向上させるために広く用いられている。
– しかし、自然言語理解（NLU）における既存のデータ拡張技術は、自然言語の複雑性を十分に捉えることができず、大規模データセットに適用するのが難しい場合がある。
– 本論文では、単語ベクトルレベルで動作する新しいデータ拡張技術である「Random Position Noise（RPN）」アルゴリズムを提案している。
– RPNは、選択した単語ベクトルの既存の値に基づいてノイズを導入することにより、元のテキストの単語埋め込みを変更し、より微細な修正を可能にし、自然言語のバリエーションをより正確に捉えることができる。
– 従来のデータ拡張手法とは異なり、RPNは仮想サンプルの更新時に計算グラフ内の勾配を必要とせず、大規模データセットに適用するのが簡単である。
– 実験結果は、RPNが感情分析、自然言語推論、パラフレーズ検出などの様々なNLUタスクにおいて、既存のデータ拡張技術を常に上回る性能を発揮することを示している。
– さらに、RPNはリソースが不足した状況でも良好な性能を発揮し、単語埋め込み層を備えた任意のモデルに適用できる。
– 提案されたRPNアルゴリズムは、NLU性能を向上させ、大規模NLUタスクにおける従来のデータ拡張技術に関連する課題に対処する有望なアプローチである。実験結果は、RPNアルゴリズムがすべての7つのNLUタスクにおいて最高の性能を発揮したことを示しており、その効果と実世界NLUアプリケーションへの可能性を強調している。

要約(オリジナル)

Data augmentation is a widely used technique in machine learning to improve model performance. However, existing data augmentation techniques in natural language understanding (NLU) may not fully capture the complexity of natural language variations, and they can be challenging to apply to large datasets. This paper proposes the Random Position Noise (RPN) algorithm, a novel data augmentation technique that operates at the word vector level. RPN modifies the word embeddings of the original text by introducing noise based on the existing values of selected word vectors, allowing for more fine-grained modifications and better capturing natural language variations. Unlike traditional data augmentation methods, RPN does not require gradients in the computational graph during virtual sample updates, making it simpler to apply to large datasets. Experimental results demonstrate that RPN consistently outperforms existing data augmentation techniques across various NLU tasks, including sentiment analysis, natural language inference, and paraphrase detection. Moreover, RPN performs well in low-resource settings and is applicable to any model featuring a word embeddings layer. The proposed RPN algorithm is a promising approach for enhancing NLU performance and addressing the challenges associated with traditional data augmentation techniques in large-scale NLU tasks. Our experimental results demonstrated that the RPN algorithm achieved state-of-the-art performance in all seven NLU tasks, thereby highlighting its effectiveness and potential for real-world NLU applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI