Efficient Response Generation Strategy Selection for Fine-Tuning Large Language Models Through Self-Aligned Perplexity

要約

大規模な言語モデル（LLMS）の微調整は、通常、大量の入出力ペアの生産に依存しています。
しかし、特定の質問では、多くの有効な出力が存在する可能性があります。
実際には、これらの出力は、多くの場合、教師モデルから知識を蒸留することによって導き出され、特定の教師モデルまたは採用された戦略によって異なる場合があります。
最近の調査結果は、これらのトレーニング出力がどのように生成されるかが微調整されたモデルのパフォーマンスに大きな影響を与え、重要な質問を提起することを示しています。
各候補者を徹底的にトレーニングして評価するのではなく、このペーパーでは、生成されたデータの小さなサブセットを評価して特定のターゲットLLMに対する適合性を推定するスケーラブルな近似方法を提案します。
私たちの中心的な考え方は、効果的な出力はターゲットLLMに馴染みがあるはずであるということです。
以前の研究では困惑に精通しているが、理論的分析と実用的な観察を通じて「親しみやすさ」を特徴付ける際に困惑が最適である可能性があることがわかっています。
これに対処するために、自己整合した困惑を紹介します。これは、候補者の出力がターゲットLLMのスタイルと推論パターンにどのように密接に接着するかをキャプチャする新しいメトリックです。
このようにして、小さなサンプルで最も効果的な生成戦略を特定し、それを適用して完全なトレーニングセットを作成できます。
選択した方法によって生成されたデータに関するトレーニングが、多様な推論に焦点を当てたベンチマーク全体で大幅な改善をもたらすことを実証します。

要約(オリジナル)

Fine-tuning large language models (LLMs) typically relies on producing large sets of input-output pairs. Yet for a given question, there can be many valid outputs. In practice, these outputs are often derived by distilling knowledge from teacher models, and they can vary depending on the specific teacher model or prompting strategy employed. Recent findings show that how these training outputs are generated can significantly affect the performance of the fine-tuned model, raising an important question: how do we pick the best data generation method from among numerous possibilities? Rather than exhaustively training and evaluating on each candidate, this paper proposes a scalable approximate method that assesses a small subset of generated data to estimate its suitability for a specific target LLM. Our central idea is that effective outputs should be familiar to the target LLM. While previous work measures familiarity with perplexity, we find that perplexity might be suboptimal in characterizing ‘familiarity’ through theoretical analysis and practical observations. To address this, we introduce self-aligned perplexity, a novel metric capturing how closely candidate outputs adhere to the target LLM’s own style and reasoning patterns. In this way, we can identify the most effective generation strategy on a small sample, then apply it to produce the complete training set. We demonstrate that training on data generated by the chosen method yields significant improvements across diverse reasoning-focused benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google