First Train to Generate, then Generate to Train: UnitedSynT5 for Few-Shot NLI

要約

自然言語推論 (NLI) タスクでは、通常、含意、矛盾、または中立性に分類される文のペア間の関係を識別する必要があります。
現在の最先端 (SOTA) モデルである含意少数ショット学習 (EFL) は、スタンフォード自然言語推論 (SNLI) データセットで 93.1% の精度を達成していますが、さらなる進歩はデータセットの制限によって制限されています。
これに対処するために、合成データ拡張を活用してデータセットの多様性と複雑性を強化する新しいアプローチを提案します。
UnitedSynT5 は、T5 ベースのジェネレーターを活用して追加の前提仮説ペアを合成する EFL の高度な拡張機能であり、厳密にクリーン化されてトレーニング データに統合されます。
これらの拡張された例は EFL フレームワーク内で処理され、一貫性を保つためにラベルを仮説に直接埋め込みます。
この拡張されたデータセットで GTR-T5-XL モデルをトレーニングし、SNLI データセットで 94.7% の精度、E-SNLI データセットで 94.0% の精度、MultiNLI データセットで 92.6% の精度という新しいベンチマークを達成し、以前の SOTA を上回りました。
モデル。
この研究は、NLI モデルの改善における合成データ拡張の可能性を実証し、自然言語理解タスクのさらなる進歩への道を提供します。

要約(オリジナル)

Natural Language Inference (NLI) tasks require identifying the relationship between sentence pairs, typically classified as entailment, contradiction, or neutrality. While the current state-of-the-art (SOTA) model, Entailment Few-Shot Learning (EFL), achieves a 93.1% accuracy on the Stanford Natural Language Inference (SNLI) dataset, further advancements are constrained by the dataset’s limitations. To address this, we propose a novel approach leveraging synthetic data augmentation to enhance dataset diversity and complexity. We present UnitedSynT5, an advanced extension of EFL that leverages a T5-based generator to synthesize additional premise-hypothesis pairs, which are rigorously cleaned and integrated into the training data. These augmented examples are processed within the EFL framework, embedding labels directly into hypotheses for consistency. We train a GTR-T5-XL model on this expanded dataset, achieving a new benchmark of 94.7% accuracy on the SNLI dataset, 94.0% accuracy on the E-SNLI dataset, and 92.6% accuracy on the MultiNLI dataset, surpassing the previous SOTA models. This research demonstrates the potential of synthetic data augmentation in improving NLI models, offering a path forward for further advancements in natural language understanding tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google