An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models

要約

命令データセットの教師ありファインチューニング (SFT) は、最新の大規模言語モデル (LLM) で観察される顕著なゼロショット汎化機能を達成する上で重要な役割を果たしています。
しかし、特に命令データセットにまたがるタスクの数が増加し続けるにつれて、命令に対する高品質の応答を生成するために必要なアノテーションの作業は法外に高価になってきています。
アクティブ ラーニングは、ラベルのないプールからアノテーションを付けるために有用なサンプルのサブセットを特定するのに効果的ですが、その高い計算コストが、LLM のコンテキストでの広範な適用の障壁となっています。
SFT のアノテーション コストを軽減し、アクティブ ラーニングの計算ボトルネックを回避するために、実験計画法の使用を提案します。
実験計画手法では、ラベル付けする最も有益なサンプルを選択し、通常は不確実性や多様性の概念を最大化します。
私たちの研究では、いくつかの既存および新規の実験計画手法を評価するフレームワークを実装し、これらの手法により、わずかな計算オーバーヘッドでラベル効率が一貫して大幅に向上することがわかりました。
生成タスクでは、私たちの方法は、ランダム サンプリングに必要なアノテーション コストのわずか $50\%$ で、同じ汎化パフォーマンスを達成します。

要約(オリジナル)

Supervised finetuning (SFT) on instruction datasets has played a crucial role in achieving the remarkable zero-shot generalization capabilities observed in modern large language models (LLMs). However, the annotation efforts required to produce high quality responses for instructions are becoming prohibitively expensive, especially as the number of tasks spanned by instruction datasets continues to increase. Active learning is effective in identifying useful subsets of samples to annotate from an unlabeled pool, but its high computational cost remains a barrier to its widespread applicability in the context of LLMs. To mitigate the annotation cost of SFT and circumvent the computational bottlenecks of active learning, we propose using experimental design. Experimental design techniques select the most informative samples to label, and typically maximize some notion of uncertainty and/or diversity. In our work, we implement a framework that evaluates several existing and novel experimental design techniques and find that these methods consistently yield significant gains in label efficiency with little computational overhead. On generative tasks, our methods achieve the same generalization performance with only $50\%$ of annotation cost required by random sampling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google