Text Quality-Based Pruning for Efficient Training of Language Models

要約

最近、言語モデル (LM) のトレーニングは、大規模なデータセットに対する大量の計算量のトレーニングに依存しているため、このトレーニング プロセスは非常に面倒なものになっています。
この論文では、モデルに依存しない方法で大規模なラベルなし NLP データセットのテキスト品質を数値的に評価し、テキスト インスタンスに「品質スコア」を割り当てる新しい方法を提案します。
この論文では、テキスト品質メトリクスを提案することで、低品質のテキスト インスタンスを特定して排除するためのフレームワークを確立し、LM モデルのトレーニング効率の向上につながります。
複数のモデルとデータセットにわたる実験結果は、このアプローチの有効性を実証し、トレーニングの有効性が大幅に向上することを示し、リソース効率の高い LM トレーニングの可能性を強調しています。
たとえば、OpenWebText データセットでトレーニングすると、複数の LM モデルの 14 の下流評価タスクで平均 0.9% の絶対精度の向上が見られ、使用するデータが 40% 少なくなり、トレーニングが 42% 速くなり、20% のデータセットを使用すると絶対精度が平均 0.8% 向上しました。
データが減り、Wikipedia データセットでのトレーニングが 21% 高速化されました。

要約(オリジナル)

In recent times training Language Models (LMs) have relied on computationally heavy training over massive datasets which makes this training process extremely laborious. In this paper we propose a novel method for numerically evaluating text quality in large unlabelled NLP datasets in a model agnostic manner to assign the text instances a ‘quality score’. By proposing the text quality metric, the paper establishes a framework to identify and eliminate low-quality text instances, leading to improved training efficiency for LM models. Experimental results over multiple models and datasets demonstrate the efficacy of this approach, showcasing substantial gains in training effectiveness and highlighting the potential for resource-efficient LM training. For example, we observe an absolute accuracy improvement of 0.9% averaged over 14 downstream evaluation tasks for multiple LM models while using 40% lesser data and training 42% faster when training on the OpenWebText dataset and 0.8% average absolute accuracy improvement while using 20% lesser data and training 21% faster on the Wikipedia dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google