Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization

要約

機械学習モデルは、ベンチマークの自然言語処理 (NLP) データセットで高いパフォーマンスを達成できますが、より困難な設定では失敗します。
事前トレーニング済みのモデルが自然言語推論 (NLI) でデータセット アーティファクトを学習するときに、この問題を調査します。これは、テキスト シーケンスのペア間の論理関係を調査するトピックです。
クラウドソーシングされたスタンフォード自然言語推論 (SNLI) コーパス内のデータセット アーティファクトを分析および検索するためのさまざまな手法を提供します。
SNLI のデータセット アーティファクトのスタイル パターンを研究します。
データセットのアーティファクトを軽減するために、文レベルでの行動テスト チェックリストと単語レベルでの語彙同義語基準という 2 つの異なるフレームワークを備えた独自のマルチスケール データ拡張手法を採用しています。
具体的には、組み合わせ方法により、モデルの摂動テストに対する耐性が強化され、事前トレーニングされたベースラインを継続的に上回ることができます。

要約(オリジナル)

Machine learning models can reach high performance on benchmark natural language processing (NLP) datasets but fail in more challenging settings. We study this issue when a pre-trained model learns dataset artifacts in natural language inference (NLI), the topic of studying the logical relationship between a pair of text sequences. We provide a variety of techniques for analyzing and locating dataset artifacts inside the crowdsourced Stanford Natural Language Inference (SNLI) corpus. We study the stylistic pattern of dataset artifacts in the SNLI. To mitigate dataset artifacts, we employ a unique multi-scale data augmentation technique with two distinct frameworks: a behavioral testing checklist at the sentence level and lexical synonym criteria at the word level. Specifically, our combination method enhances our model’s resistance to perturbation testing, enabling it to continuously outperform the pre-trained baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google