DEFT: Data Efficient Fine-Tuning for Pre-Trained Language Models via Unsupervised Core-Set Selection

要約

最近の進歩により、多くの事前トレーニング済み言語モデル (PLM) が利用できるようになりました。
ただし、下流タスク用に PLM を微調整するために実際にどれだけのデータが必要なのかという疑問が残ります。
この作業では、データ効率の高い微調整フレームワークである DEFT-UCS を紹介します。DEFT-UCS は、教師なしコアセットの選択を利用して、ダウンストリーム タスクの PLM を微調整するために必要なデータ量を削減する、より小規模で代表的なデータセットを特定します。
テキスト編集 LM のコンテキストにおける DEFT-UCS の有効性を検証し、最先端のテキスト編集モデルである CoEDIT と比較します。
私たちの結果は、6 つの異なる編集タスクで構成される 8 つの異なるデータセットにわたって、DEFT-UCS モデルが CoEDIT と同等の精度を示しながら、70% 少ないデータで微調整されていることを示しています。

要約(オリジナル)

Recent advances have led to the availability of many pre-trained language models (PLMs); however, a question that remains is how much data is truly needed to fine-tune PLMs for downstream tasks? In this work, we introduce DEFT-UCS, a data-efficient fine-tuning framework that leverages unsupervised core-set selection to identify a smaller, representative dataset that reduces the amount of data needed to fine-tune PLMs for downstream tasks. We examine the efficacy of DEFT-UCS in the context of text-editing LMs, and compare to the state-of-the art text-editing model, CoEDIT. Our results demonstrate that DEFT-UCS models are just as accurate as CoEDIT, across eight different datasets consisting of six different editing tasks, while finetuned on 70% less data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google