One Shot Learning as Instruction Data Prospector for Large Language Models

要約

大規模言語モデル(LLM)を人間に適合させることは、様々な言語タスクにおいて事前に訓練された能力を効果的に活用する上で非常に重要なステップである。現在の命令チューニングは、データ品質を確保するための明確な戦略なしにデータセットサイズの拡大に依存することが多く、不注意にノイズを導入してモデルの性能を低下させる可能性がある。この課題に対処するため、我々は、膨大なデータセットから高品質な命令データを選択するためのワンショット学習を採用した、新規かつ効率的な手法であるNuggetsを紹介する。Nuggetsは、個々のインストラクション例が効果的なワンショット例として機能する可能性を評価し、それによって多様なタスクのパフォーマンスを大幅に向上させることができるインストラクション例を特定する。Nuggetsは、候補例が多様なアンカーセットの当惑度に与える影響に基づくスコアリングシステムを利用し、インストラクションチューニングに最も有益なデータの選択を容易にする。MT-BenchとAlpaca-Evalを含む2つのベンチマークでの厳密なテストを通じて、Nuggetsがキュレーションした上位1%の例を用いた命令チューニングが、全データセットを用いた従来の手法を大幅に上回ることを実証する。これらの知見は、品質を優先するデータ選択パラダイムを提唱し、LLMを人間に適合させるより効率的な経路を提供する。

要約(オリジナル)

Aligning large language models(LLMs) with human is a critical step in effectively utilizing their pre-trained capabilities across a wide array of language tasks. Current instruction tuning practices often rely on expanding dataset size without a clear strategy for ensuring data quality, which can inadvertently introduce noise and degrade model performance. To address this challenge, we introduce Nuggets, a novel and efficient methodology that employs one shot learning to select high-quality instruction data from expansive datasets. Nuggets assesses the potential of individual instruction examples to act as effective one shot examples, thereby identifying those that can significantly enhance diverse task performance. Nuggets utilizes a scoring system based on the impact of candidate examples on the perplexity of a diverse anchor set, facilitating the selection of the most beneficial data for instruction tuning. Through rigorous testing on two benchmarks, including MT-Bench and Alpaca-Eval, we demonstrate that instruction tuning with the top 1% of Nuggets-curated examples substantially outperforms conventional methods that use the full dataset. These findings advocate for a data selection paradigm that prioritizes quality, offering a more efficient pathway to align LLMs with humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL