From Zero to Hero: Examining the Power of Symbolic Tasks in Instruction Tuning

要約

タイトル： シンボリックタスクの力を調べる：インストラクションチューニングの効果を検討する

要約：
– インストラクションを持つタスクで言語モデルを微調整することは、未知のタスクに対するゼロショットの一般化を促進する潜在力があることが示されている。
– この論文では、シンボリックタスクを利用することによって、インストラクションチューニングを改善するための簡単で効果的な方法を紹介する。
– シンボリックタスクは、人のタスクやモデル生成タスクと比較して、高品質なトレーニングデータの無限の供給源を提供する理論的な可能性があるため、ユニークな利点を持っている。
– シンボリックタスクのポテンシャルを探るために、SQL実行の代表的なシンボリックタスクについての詳細なケーススタディを行う。
– 様々なベンチマークでの実験結果は、SQL実行の統合がゼロショットシナリオにおいて、特にテーブルの推論において、有意な改善をもたらすことを示した。
– さらに、BBH（27のタスク）とMMLU（57のタスク）での実験的な結果は、シンボリックタスクを用いることで言語モデルを改善できることを示し、この汎用性を損なうことなく実現できることを示した。
– この論文が、シンボリックタスクをインストラクションチューニングに組み込むための取り組みの増加を促進するきっかけとなることを望む。

要約(オリジナル)

Fine-tuning language models on tasks with instructions has demonstrated potential in facilitating zero-shot generalization to unseen tasks. In this paper, we introduce a straightforward yet effective method for enhancing instruction tuning by employing symbolic tasks. Compared to crowdsourced human tasks or model-generated tasks, symbolic tasks present a unique advantage as they can be easily generated in vast quantities, theoretically providing an infinite supply of high-quality training instances. To explore the potential of symbolic tasks, we carry out an extensive case study on the representative symbolic task of SQL execution. Empirical results on various benchmarks validate that the integration of SQL execution leads to significant improvements in zero-shot scenarios, particularly in table reasoning. Notably, our 3B model surpasses both the 175B GPT-3 and ChatGPT in zero-shot table reasoning across four benchmarks. Furthermore, experimental results on BBH (27 tasks) and MMLU (57 tasks) reveal that language models can be enhanced through symbolic tasks without compromising their generality. We hope that our paper serves as a catalyst, inspiring increased efforts to incorporate symbolic tasks in instruction tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI