Diversity-oriented Data Augmentation with Large Language Models

要約

データ増強は、多様なサンプルを生成することにより、トレーニングデータセットを濃縮するための自然言語処理（NLP）の不可欠な手法です。
このプロセスは、NLPモデルの堅牢性と一般化機能を改善するために重要です。
ただし、重要な課題は次のとおりです。
ほとんどの既存の方法は、サンプル分布の多様性を無視しながらサンプル数の増加に焦点を当てており、モデルの過剰適合につながる可能性があります。
これに応じて、データ増強のデータセットの多様性への影響を調査し、\ textbf {\ underline {d}} eversity- \ textbf {\ underline {o}} riented date \ textbf {\ underline {aug}} mentation framework（\ textbf {doaug}）を提案します。
％\（\ mathscr {doaug} \）具体的には、多様な言い換えを生成することでテキストデータセットを増強できる多様な言い換えとしてLLMを訓練するために、多様性指向の微調整アプローチを利用します。
次に、LLMパラフラザーを非常に有益なサンプルの選択したコアセットに適用し、パラフラゼを元のデータと統合して、より多様な拡張データセットを作成します。
最後に、12の実際のテキストデータセットで広範な実験を実施します。
結果は、微調整されたLLMアウゲン剤がラベルの一貫性を維持しながら多様性を改善し、それによりダウンストリームタスクの堅牢性とパフォーマンスを向上させることを示しています。
具体的には、\（10.52 \％\）の平均パフォーマンスゲインを達成し、3パーセントポイント以上の準優勝ベースラインを上回ります。

要約(オリジナル)

Data augmentation is an essential technique in natural language processing (NLP) for enriching training datasets by generating diverse samples. This process is crucial for improving the robustness and generalization capabilities of NLP models. However, a significant challenge remains: \textit{Insufficient Attention to Sample Distribution Diversity}. Most existing methods focus on increasing the sample numbers while neglecting the sample distribution diversity, which can lead to model overfitting. In response, we explore data augmentation’s impact on dataset diversity and propose a \textbf{\underline{D}}iversity-\textbf{\underline{o}}riented data \textbf{\underline{Aug}}mentation framework (\textbf{DoAug}). % \(\mathscr{DoAug}\) Specifically, we utilize a diversity-oriented fine-tuning approach to train an LLM as a diverse paraphraser, which is capable of augmenting textual datasets by generating diversified paraphrases. Then, we apply the LLM paraphraser to a selected coreset of highly informative samples and integrate the paraphrases with the original data to create a more diverse augmented dataset. Finally, we conduct extensive experiments on 12 real-world textual datasets. The results show that our fine-tuned LLM augmenter improves diversity while preserving label consistency, thereby enhancing the robustness and performance of downstream tasks. Specifically, it achieves an average performance gain of \(10.52\%\), surpassing the runner-up baseline with more than three percentage points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google