One-Shot Learning as Instruction Data Prospector for Large Language Models

要約

現代のインストラクション・チューニングでは、データの質を確保するための明確な戦略なしに、データの拡大縮小に依存することが多く、不注意にノイズを導入してモデルの性能を低下させる可能性があります。この課題を解決するために、私たちは新規かつ効率的な方法論である、膨大なデータセットから高品質なインストラクションデータを識別し選択するためのワンショット学習を活用する、୧⃛(๑⃙⃘⁼̴̀꒳⁼̴́๑⃙⃘)୨⃛を紹介します。\Nuggets}は、効果的なワンショット学習インスタンスとして機能する個々のインストラクション例の可能性を評価し、それによって、多様なタスクにわたってパフォーマンスを大幅に向上させることができるインストラクション例を識別します。\Nuggets}は、多様なアンカーセットの当惑度に対する候補例の影響に基づくスコアリングシステムを利用し、インストラクションチューニングに最も有利なデータの選択を容易にする。

要約(オリジナル)

Contemporary practices in instruction tuning often hinge on enlarging data scaling without a clear strategy for ensuring data quality, inadvertently introducing noise that may compromise model performance. To address this challenge, we introduce \textsc{Nuggets}, a novel and efficient methodology that leverages one-shot learning to discern and select high-quality instruction data from extensive datasets. \textsc{Nuggets} assesses the potential of individual instruction examples to act as effective one-shot learning instances, thereby identifying those that can significantly improve performance across diverse tasks. \textsc{Nuggets} utilizes a scoring system based on the impact of candidate examples on the perplexity of a diverse anchor set, facilitating the selection of the most advantageous data for instruction tuning. Through comprehensive evaluations on two benchmarks, including MT-Bench and Alpaca-Eval, we show that instruction tuning with the top 1\% of examples curated by \textsc{Nuggets} substantially outperforms conventional methods employing the entire dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL