SFTMix: Elevating Language Model Instruction Tuning with Mixup Recipe

要約

インタラクション駆動型タスクの大規模言語モデル (LLM) に望ましい動作を誘導するために、通常、命令チューニング ステージではネクスト トークン予測 (NTP) 損失を使用して命令と応答のペアで LLM をトレーニングします。
命令チューニングのパフォーマンス向上を目的としたこれまでの研究では、高品質の教師あり微調整 (SFT) データセットの必要性が強調されることが多く、これには通常、独自の LLM を使用した高価なデータ フィルタリングや、ヒューマン アノテーターによる労働集約的なデータ生成が含まれます。
ただし、これらのアプローチではデータセットの固有の特性が十分に活用されていないため、計算コストと人件費が高くなり、スケーラビリティとパフォーマンスの向上が制限されます。
この論文では、十分に厳選されたデータセットを必要とせずに、従来の NTP パラダイムを超えて命令チューニングのパフォーマンスを向上させる新しいレシピである SFTMix を提案します。
LLM が意味論的表現空間全体にわたって不均一な信頼度を示すことを観察すると、異なる信頼度レベルを持つ例は命令チューニング プロセス中に異なる役割を果たす必要があると主張します。
この洞察に基づいて、SFTMix はトレーニング ダイナミクスを活用してさまざまな信頼レベルを持つ例を特定し、その後、Mixup ベースの正則化を適用して自信のある例の過学習を軽減すると同時に、比較的自信のない例の学習を改善するために監視信号を伝播します。
このアプローチにより、SFTMix は、指示に従うさまざまなタスクや医療ドメイン固有の SFT タスクにわたって NTP よりも大幅に優れたパフォーマンスを発揮できるようになり、多様な LLM ファミリへの適応性とあらゆるサイズのデータ​​セットへの拡張性が実証されました。
包括的なアブレーション研究により、SFTMix の設計選択の堅牢性がさらに検証され、より広範な自然言語処理アプリケーションにおいて、さまざまな LLM およびデータセットにわたって一貫してパフォーマンスを向上させるその多用途性が強調されています。

要約(オリジナル)

To induce desired behaviors in large language models (LLMs) for interaction-driven tasks, the instruction-tuning stage typically trains LLMs on instruction-response pairs using the next-token prediction (NTP) loss. Previous work aiming to improve instruction-tuning performance often emphasizes the need for higher-quality supervised fine-tuning (SFT) datasets, which typically involves expensive data filtering with proprietary LLMs or labor-intensive data generation by human annotators. However, these approaches do not fully leverage the datasets’ intrinsic properties, resulting in high computational and labor costs, thereby limiting scalability and performance gains. In this paper, we propose SFTMix, a novel recipe that elevates instruction-tuning performance beyond the conventional NTP paradigm, without the need for well-curated datasets. Observing that LLMs exhibit uneven confidence across the semantic representation space, we argue that examples with different confidence levels should play distinct roles during the instruction-tuning process. Based on this insight, SFTMix leverages training dynamics to identify examples with varying confidence levels, then applies a Mixup-based regularization to mitigate overfitting on confident examples while propagating supervision signals to improve learning on relatively unconfident ones. This approach enables SFTMix to significantly outperform NTP across a wide range of instruction-following and healthcare domain-specific SFT tasks, demonstrating its adaptability to diverse LLM families and scalability to datasets of any size. Comprehensive ablation studies further verify the robustness of SFTMix’s design choices, underscoring its versatility in consistently enhancing performance across different LLMs and datasets in broader natural language processing applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google