Data Diversity Matters for Robust Instruction Tuning

要約

最近の研究では、高品質で多様な命令調整データセットを厳選することで、命令追従能力を大幅に向上できることが示されています。
ただし、そのようなデータセットの作成は難しく、ほとんどの作品は手動によるキュレーションまたは独自の言語モデルに依存しています。
命令チューニングの多様性をどのように定義できるか、多様性と品質が相互にどのように依存するか、データセットの品質と多様性をどのように最適化できるかがまだ明確ではないため、自動データキュレーションは困難です。
これらの問題を解決するために、私たちは新しいアルゴリズム、Quality-Diversity structuning (QDIT) を提案します。
QDIT は、データセットの多様性と品質を同時に制御する簡単な方法を提供し、多様性と品質が命令チューニングのパフォーマンスに与える影響について詳細な研究を行うことができます。
この調査から、我々は 2 つの重要な洞察を導き出しました (1) データの多様性と品質の間には自然なトレードオフが存在すること、および (2) データの多様性を増加させると、最悪の場合の命令後のパフォーマンスが大幅に向上し、その結果堅牢性が向上します。
いくつかの大規模な命令チューニング データセットで QDIT のパフォーマンスを検証し、品質重視のデータ選択と比較して最悪および平均的なケースのパフォーマンスを大幅に向上できることがわかりました。

要約(オリジナル)

Recent works have shown that by curating high quality and diverse instruction tuning datasets, we can significantly improve instruction-following capabilities. However, creating such datasets is difficult and most works rely on manual curation or proprietary language models. Automatic data curation is difficult as it is still not clear how we can define diversity for instruction tuning, how diversity and quality depend on one other, and how we can optimize dataset quality and diversity. To resolve these issue, we propose a new algorithm, Quality-Diversity Instruction Tuning (QDIT). QDIT provides a simple method to simultaneously control dataset diversity and quality, allowing us to conduct an in-depth study on the effect of diversity and quality on instruction tuning performance. From this study we draw two key insights (1) there is a natural tradeoff between data diversity and quality and (2) increasing data diversity significantly improves the worst case instruction following performance, therefore improving robustness. We validate the performance of QDIT on several large scale instruction tuning datasets, where we find it can substantially improve worst and average case performance compared to quality-driven data selection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google