From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning

要約

大規模言語モデルの領域では、命令データの質と量のバランスが焦点になっています。
これを認識して、LLM が膨大なオープンソース データセットからチェリー サンプルを自律的に識別して選択するための自己誘導型の方法論を導入し、手動によるキュレーションと LLM の命令チューニングにかかる​​潜在的なコストを効果的に最小限に抑えます。
私たちの主要なイノベーションである命令追従難易度 (IFD) メトリクスは、モデルの予想される応答とその自律生成能力との間の矛盾を特定するための極めて重要なツールとして登場します。
IFD の巧みな適用により、チェリーのサンプルが特定され、モデルのトレーニング効率が大幅に向上します。
Alpaca や WizardLM などの有名なデータセットに対する実証的検証が、私たちの発見を裏付けています。
従来のデータ入力のわずか 10% で、当社の戦略は改善された結果を示します。
この自己誘導的なチェリーピッキングと IFD メトリクスの統合は、LLM の最適化における変革的な飛躍を意味し、効率とリソースを意識した進歩の両方を約束します。

要約(オリジナル)

In the realm of Large Language Models, the balance between instruction data quality and quantity has become a focal point. Recognizing this, we introduce a self-guided methodology for LLMs to autonomously discern and select cherry samples from vast open-source datasets, effectively minimizing manual curation and potential cost for instruction tuning an LLM. Our key innovation, the Instruction-Following Difficulty (IFD) metric, emerges as a pivotal tool to identify discrepancies between a model’s expected responses and its autonomous generation prowess. Through the adept application of IFD, cherry samples are pinpointed, leading to a marked uptick in model training efficiency. Empirical validations on renowned datasets like Alpaca and WizardLM underpin our findings; with a mere 10% of conventional data input, our strategy showcases improved results. This synthesis of self-guided cherry-picking and the IFD metric signifies a transformative leap in the optimization of LLMs, promising both efficiency and resource-conscious advancements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google