Superfiltering: Weak-to-Strong Data Filtering for Fast Instruction-Tuning

要約

命令チューニングは LLM を改善するために重要ですが、通常は低品質で冗長なデータに悩まされます。
命令チューニングのためのデータ フィルタリングは、チューニング プロセスの効率とパフォーマンスの両方を向上させる上で重要であることがわかっています。
ただし、このプロセスには LLM が関与するため、追加のコストと計算が発生します。
フィルタリング コストを削減するために、スーパーフィルタリングを研究します。より大きくて強力なモデルを微調整するためのデータを選択するために、より小さくて弱いモデルを使用できますか?
弱い言語モデルと強い言語モデルの間にはパフォーマンスの差があるにもかかわらず、命令の難しさとデータ選択の結果を認識するそれらの能力が非常に一貫していることがわかります。
これにより、より小型で効率的なモデルを使用して、大規模な言語モデルのトレーニングに使用される命令データをフィルター処理できるようになります。
データのフィルタリングを大幅に高速化するだけでなく、フィルタリングされたデータを微調整した LLM は、標準ベンチマークでさらに優れたパフォーマンスを実現します。
広範な実験により、私たちのアプローチの有効性と効率性が検証されています。

要約(オリジナル)

Instruction tuning is critical to improve LLMs but usually suffers from low-quality and redundant data. Data filtering for instruction tuning has proved important in improving both the efficiency and performance of the tuning process. But it also leads to extra cost and computation due to the involvement of LLMs in this process. To reduce the filtering cost, we study Superfiltering: Can we use a smaller and weaker model to select data for finetuning a larger and stronger model? Despite the performance gap between weak and strong language models, we find their highly consistent capability to perceive instruction difficulty and data selection results. This enables us to use a much smaller and more efficient model to filter the instruction data used to train a larger language model. Not only does it largely speed up the data filtering, but the filtered-data-finetuned LLM achieves even better performance on standard benchmarks. Extensive experiments validate the efficacy and efficiency of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google