Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks

要約

命令チューニングは、さまざまなタスクにわたるゼロショット汎化を強化する能力だけでなく、特定のタスクのパフォーマンスを向上させる効果も示しています。
特定のタスクの命令チューニングにおける重要な側面は、有意義な監視を提供する関連タスクを戦略的に選択することです。これにより、効率が向上し、無関係なタスクによるパフォーマンスの低下が防止されます。
私たちの研究により、命令情報 \textit{alone} を活用することで、命令チューニングに関連するタスクを特定できることが明らかになりました。
このアプローチは、タスク間のペアごとの伝達可能性の複雑な測定やターゲット タスクのデータ サンプルの作成を必要とする従来の方法と比較して、著しく簡単です。
さらに、メタデータセットの独自の指導テンプレート スタイルを追加学習することにより、タスク選択の精度が向上し、全体的なパフォーマンスの向上に貢献することが観察されました。
実験結果は、指示のみに基づいて選択された小さなタスクのセットでトレーニングすると、P3、Big-Bench、NIV2、Big-Bench Hard などのベンチマークで大幅なパフォーマンスの向上につながることを示しています。
重要なことに、これらの改善は以前のタスク選択方法で達成されたものを上回っており、私たちのアプローチの有効性が強調されています。

要約(オリジナル)

Instruction tuning has shown its ability to not only enhance zero-shot generalization across various tasks but also its effectiveness in improving the performance of specific tasks. A crucial aspect in instruction tuning for a particular task is a strategic selection of related tasks that offer meaningful supervision, thereby enhancing efficiency and preventing performance degradation from irrelevant tasks. Our research reveals that leveraging instruction information \textit{alone} enables the identification of pertinent tasks for instruction tuning. This approach is notably simpler compared to traditional methods that necessitate complex measurements of pairwise transferability between tasks or the creation of data samples for the target task. Furthermore, by additionally learning the unique instructional template style of the meta-dataset, we observe an improvement in task selection accuracy, which contributes to enhanced overall performance. Experimental results demonstrate that training on a small set of tasks, chosen solely based on the instructions, leads to substantial performance improvements on benchmarks like P3, Big-Bench, NIV2, and Big-Bench Hard. Significantly, these improvements exceed those achieved by prior task selection methods, highlighting the efficacy of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google