The Flan Collection: Designing Data and Methods for Effective Instruction Tuning

要約

公開されている命令チューニング方法の設計上の決定を研究し、Flan 2022 の開発を分析します (Chung et al., 2022)。
Flan Collection のタスクとメソッドに関する注意深いアブレーション研究を通じて、Flan-T5 が評価設定全体で以前の作業を 3 ～ 17% 以上上回ることを可能にする設計上の決定の影響を明らかにしました。
タスク バランシングとエンリッチメントの手法は見過ごされていますが、効果的な命令チューニングにとって重要であり、特に、混合プロンプト設定 (ゼロ ショット、少数ショット、チェーン オブ 思考) を使用したトレーニングは、実際にはより強力な (2%+) パフォーマンスをもたらします。
すべての設定で。
さらなる実験では、Flan-T5 は、単一のダウンストリーム タスクで T5 よりも高速かつ高速に収束するために必要な微調整が少なくて済み、新しいタスクの開始チェックポイントとしてより計算効率の高い命令調整モデルを動機付けることを示しています。
最後に、命令チューニングの研究を加速するために、データセット、テンプレート、およびメソッドの Flan 2022 コレクションを https://github.com/google-research/FLAN/tree/main/flan/v2 で公開しています。

要約(オリジナル)

We study the design decisions of publicly available instruction tuning methods, and break down the development of Flan 2022 (Chung et al., 2022). Through careful ablation studies on the Flan Collection of tasks and methods, we tease apart the effect of design decisions which enable Flan-T5 to outperform prior work by 3-17%+ across evaluation settings. We find task balancing and enrichment techniques are overlooked but critical to effective instruction tuning, and in particular, training with mixed prompt settings (zero-shot, few-shot, and chain-of-thought) actually yields stronger (2%+) performance in all settings. In further experiments, we show Flan-T5 requires less finetuning to converge higher and faster than T5 on single downstream tasks, motivating instruction-tuned models as more computationally-efficient starting checkpoints for new tasks. Finally, to accelerate research on instruction tuning, we make the Flan 2022 collection of datasets, templates, and methods publicly available at https://github.com/google-research/FLAN/tree/main/flan/v2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google