Beyond IID: Optimizing Instruction Learning from the Perspective of Instruction Interaction and Dependency

要約

さまざまな命令データセットが利用できるため、これらの命令を効果的に選択して統合し、大規模言語モデル (LLM) を微調整する方法が極めて重要な課題となります。
これまでの研究は主に、個々の高品質な指示を選択することに焦点を当てていました。
しかし、これらの研究では、異なるカテゴリの命令間の相互作用や依存関係が見落とされており、最適とは言えない選択戦略が導かれていました。
さらに、これらの対話パターンの性質は、それらに関する命令セットの最適化どころか、ほとんど解明されていないままです。
これらのギャップを埋めるために、この論文では、(1) 異なるカテゴリの命令間の相互作用と依存関係のパターンを系統的に調査し、(2) 線形計画法に基づいた手法を使用して相互作用パターンに関する命令セットを最適化し、
命令依存関係分類法を使用した SFT の学習スキーマは、カリキュラム学習をガイドします。
さまざまな LLM にわたる実験結果は、広く採用されているベンチマークの強力なベースラインよりもパフォーマンスが向上していることを示しています。

要約(オリジナル)

With the availability of various instruction datasets, a pivotal challenge is how to effectively select and integrate these instructions to fine-tune large language models (LLMs). Previous research mainly focuses on selecting individual high-quality instructions. However, these works overlooked the joint interactions and dependencies between different categories of instructions, leading to suboptimal selection strategies. Moreover, the nature of these interaction patterns remains largely unexplored, let alone optimize the instruction set with regard to them. To fill these gaps, in this paper, we: (1) systemically investigate interaction and dependency patterns between different categories of instructions, (2) manage to optimize the instruction set concerning the interaction patterns using a linear programming-based method, and optimize the learning schema of SFT using an instruction dependency taxonomy guided curriculum learning. Experimental results across different LLMs demonstrate improved performance over strong baselines on widely adopted benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google