Fine-tuning Strategies for Domain Specific Question Answering under Low Annotation Budget Constraints

要約

事前トレーニングされた言語モデルとその微調整によってもたらされた進歩により、ほとんどの下流の NLP タスクが大幅に改善されました。
言語モデルの教師なしトレーニングとターゲット タスクのさらなる微調整を組み合わせることが、標準的な QA 微調整手順になっています。
この研究では、この戦略が、特に抽出的な QA ラベル付けコストのため、実際には通常の設定である低い QA アノテーション予算の下では、QA モデルの微調整には次善であることを示します。
私たちは、さまざまな QA データセットに対して逐次微調整戦略の代替案のパフォーマンスを徹底的に分析することで結論を導き出しました。
実行された実験に基づいて、低予算設定で QA モデルを微調整するための最良の戦略は、事前トレーニング済み言語モデル (PLM) を取得し、ターゲット データセットとターゲット データセットで構成されるデータセットを使用して PLM を微調整することであることがわかりました。
SQuAD データセット。
追加のアノテーションの労力がゼロの場合、最良の戦略は標準戦略を 2.28% ～ 6.48% 上回ります。
私たちの実験は、低予算で QA システムを最適に微調整する方法に関する最初の調査の 1 つを提供するものであり、QA 実務者にとっては実用上最も興味深いものです。

要約(オリジナル)

The progress introduced by pre-trained language models and their fine-tuning has resulted in significant improvements in most downstream NLP tasks. The unsupervised training of a language model combined with further target task fine-tuning has become the standard QA fine-tuning procedure. In this work, we demonstrate that this strategy is sub-optimal for fine-tuning QA models, especially under a low QA annotation budget, which is a usual setting in practice due to the extractive QA labeling cost. We draw our conclusions by conducting an exhaustive analysis of the performance of the alternatives of the sequential fine-tuning strategy on different QA datasets. Based on the experiments performed, we observed that the best strategy to fine-tune the QA model in low-budget settings is taking a pre-trained language model (PLM) and then fine-tuning PLM with a dataset composed of the target dataset and SQuAD dataset. With zero extra annotation effort, the best strategy outperforms the standard strategy by 2.28% to 6.48%. Our experiments provide one of the first investigations on how to best fine-tune a QA system under a low budget and are therefore of the utmost practical interest to the QA practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google