MDIT: A Model-free Data Interpolation Method for Diverse Instruction Tuning

要約

大規模な言語モデル（LLM）がさまざまなタスクにますます適用されるため、モデルのパフォーマンスを向上させるための重要な方法として、指導の調整が浮上しています。
ただし、現在のデータ管理戦略は、多様で包括的なデータを生成する上で大きな課題に直面し、モデルパフォーマンスのさらなる改善を制限しています。
このギャップに対処するために、多様な命令チューニングのための新しいモデルのないデータ補間法であるMDITを提案します。これは、タスク補間を実行することにより、さまざまな高品質の命令データを生成します。
さらに、トレーニングデータの多様性を確保するために、多様性ベースのクラスタリング戦略が含まれています。
広範な実験は、私たちの方法が複数のベンチマークタスクで優れたパフォーマンスを達成することを示しています。
MDITで微調整されたLLMSは、一般的な質問応答、数学の推論、コード生成など、多数のタスクの大幅な改善を示しています。
MDITは、効率的で自動データの合成方法を提供し、複雑な環境でLLMのアプリケーションの可能性を拡大しながら、外部リソースに依存することなく多様な命令データを生成します。

要約(オリジナル)

As Large Language Models (LLMs) are increasingly applied across various tasks, instruction tuning has emerged as a critical method for enhancing model performance. However, current data management strategies face substantial challenges in generating diverse and comprehensive data, restricting further improvements in model performance. To address this gap, we propose MDIT, a novel model-free data interpolation method for diverse instruction tuning, which generates varied and high-quality instruction data by performing task interpolation. Moreover, it contains diversity-based clustering strategies to ensure the diversity of the training data. Extensive experiments show that our method achieves superior performance in multiple benchmark tasks. The LLMs finetuned with MDIT show significant improvements in numerous tasks such as general question answering, math reasoning, and code generation. MDIT offers an efficient and automatic data synthetic method, generating diverse instruction data without depending on external resources while expanding the application potential of LLMs in complex environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google