SALAD: Improving Robustness and Generalization through Contrastive Learning with Structure-Aware and LLM-Driven Augmented Data

要約

さまざまな自然言語処理（NLP）のタスクでは、微調整前の言語モデル（PLM）は、特に分散データを扱うときにパフォーマンスに悪影響を与えるという微妙な相関の問題につながることがよくあります。
この問題に対処するために、サラダを提案します}（構造認識およびLLM駆動型の拡張データ）を提案します。これは、コントラスト学習のために構造認識と反論のデータを生成することにより、モデルの堅牢性と一般化を強化するために設計された新しいアプローチです。
私たちの方法は、タグベースのアプローチを活用して構造認識の正のサンプルを生成し、大規模な言語モデル（LLM）を利用して、多様な文パターンを持つ反事実的な負のサンプルを生成します。
対照学習を適用することにより、サラダは、モデルが主要な相関関係への依存を最小限に抑えながら、キー文のコンポーネント間の構造的関係を学習することに集中できるようにします。
センチメント分類、性差別検出、自然言語の推論の3つのタスクでの実験を通じてアプローチを検証します。
結果は、サラダがさまざまな環境でモデルの堅牢性とパフォーマンスを改善するだけでなく、分散型データセットとクロスドメインシナリオへの一般化を強化することを示しています。

要約(オリジナル)

In various natural language processing (NLP) tasks, fine-tuning Pre-trained Language Models (PLMs) often leads to the issue of spurious correlations, which negatively impacts performance, particularly when dealing with out-of-distribution data. To address this problem, we propose SALAD}(Structure Aware and LLM-driven Augmented Data), a novel approach designed to enhance model robustness and generalization by generating structure-aware and counterfactually augmented data for contrastive learning. Our method leverages a tagging-based approach to generate structure-aware positive samples and utilizes large language models (LLMs) to generate counterfactual negative samples with diverse sentence patterns. By applying contrastive learning, SALAD enables the model to focus on learning the structural relationships between key sentence components while minimizing reliance on spurious correlations. We validate our approach through experiments on three tasks: Sentiment Classification, Sexism Detection, and Natural Language Inference. The results demonstrate that SALAD not only improves model robustness and performance across different environments but also enhances generalization to out-of-distribution datasets and cross-domain scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google