SMART: Submodular Data Mixture Strategy for Instruction Tuning

要約

命令チューニングには、目に見えないタスクに対するモデルの一般化可能性を高めるために、命令形式のデータセットのコレクションで言語モデルを微調整することが含まれます。
研究では、微調整中にさまざまなタスクの割合のバランスをとることが重要であることが示されていますが、適切なバランスを見つけるのは依然として困難です。
残念ながら、現時点では手動で調整するか、実践者の直感に頼る以外に体系的な方法はありません。
この論文では、SMART (Submodular data Mixture strAtegy for instRuction Tuning) を紹介します。これは、サブモジュラー関数を利用してタスクに重要度スコアを割り当て、混合の重みを決定するために使用される新しいデータ混合戦略です。
微調整された予算が与えられると、SMART はタスク間で予算を再配分し、各タスクから重複しないサンプルを選択します。
実験結果は、SMART が比例混合や均等混合などの従来の方法よりも大幅に優れていることを示しています。
さらに、SMART は、タスクのいくつかの代表的なサブセットのみに基づいてデータ混合の作成を容易にし、タスクの枝刈り分析を通じて、限られた予算設定では、代表的なタスクのサブセット間で予算を割り当てる方が、複数のタスク間で予算を配分するよりも優れたパフォーマンスを生み出すことを明らかにしました。
すべてのタスク。
結果を再現するコードは、https://github.com/kowndinya-renducintala/SMART でオープンソース化されています。

要約(オリジナル)

Instruction Tuning involves finetuning a language model on a collection of instruction-formatted datasets in order to enhance the generalizability of the model to unseen tasks. Studies have shown the importance of balancing different task proportions during finetuning, but finding the right balance remains challenging. Unfortunately, there’s currently no systematic method beyond manual tuning or relying on practitioners’ intuition. In this paper, we introduce SMART (Submodular data Mixture strAtegy for instRuction Tuning) – a novel data mixture strategy which makes use of a submodular function to assign importance scores to tasks which are then used to determine the mixture weights. Given a fine-tuning budget, SMART redistributes the budget among tasks and selects non-redundant samples from each task. Experimental results demonstrate that SMART significantly outperforms traditional methods such as examples proportional mixing and equal mixing. Furthermore, SMART facilitates the creation of data mixtures based on a few representative subsets of tasks alone and through task pruning analysis, we reveal that in a limited budget setting, allocating budget among a subset of representative tasks yields superior performance compared to distributing the budget among all tasks. The code for reproducing our results is open-sourced at https://github.com/kowndinya-renduchintala/SMART.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google