Learning to Generalize for Cross-domain QA

要約

特に質問応答 (QA) タスクにおいて、自然言語処理 (NLP) モデルのドメイン外の一般化能力に関する懸念が高まっています。
現在の QA 用の合成データ拡張方法は、トレーニング コストの増加によって妨げられています。
この問題に対処するために、プロンプト手法と線形プローブを組み合わせた、その後の微調整戦略を組み合わせた、追加コストを必要としない新しいアプローチを提案します。
私たちの方法は、生成モデルと識別モデルの両方の一般化能力を強化するのに効果的であることが理論的および経験的に示されています。
私たちのアプローチは最先端のベースラインを上回り、F1 スコアの平均増加率は 4.5% ～ 7.9% です。
さらに、私たちの手法は事前トレーニングされたモデルに簡単に統合でき、十分に検討されていないクロスドメイン QA タスクに有望なソリューションを提供します。
ソースコードは GitHub* で公開しています。

要約(オリジナル)

There have been growing concerns regarding the out-of-domain generalization ability of natural language processing (NLP) models, particularly in question-answering (QA) tasks. Current synthesized data augmentation methods for QA are hampered by increased training costs. To address this issue, we propose a novel approach that combines prompting methods and linear probing then fine-tuning strategy, which does not entail additional cost. Our method has been theoretically and empirically shown to be effective in enhancing the generalization ability of both generative and discriminative models. Our approach outperforms state-of-the-art baselines, with an average increase in F1 score of 4.5%-7.9%. Furthermore, our method can be easily integrated into any pre-trained models and offers a promising solution to the under-explored cross-domain QA task. We release our source code at GitHub*.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google