TaskWeb: Selecting Better Source Tasks for Multi-task NLP

要約

NLPの最近の研究では、より良い汎化を達成するために、大量のタスクでモデルを訓練することが有望な結果を示している。しかし、タスクがどのように関連し、どのように新しいタスクに役立つ学習タスクを選択することができるかは、十分に理解されていない。本研究では、ペアワイズタスク転送によりタスクの関係を知ることで、新しいターゲットタスクの学習に役立つ1つ以上のソースタスクを選択することが改善されるかどうかを調べる。我々は、3つの異なるモデルタイプ、サイズ、適応方法を用いた22のNLPタスクのペアワイズタスク転送の大規模ベンチマークであるTaskWebを提供し、約25,000の実験に及ぶ。そして、TaskWebの分析に基づいて新しい手法TaskShopを設計する。TaskShopはTaskWebを利用して、新しいターゲットタスクを学習するためにソースタスクを利用することの利点を推定し、マルチタスクトレーニングのために有用なトレーニングタスクのサブセットを選択する。我々の手法により、元タスクの全体的な順位が 10%、top-k 精度が 38%向上する。また、TaskShopを用いて、11の異なるターゲットタスクのゼロショット性能を少なくとも4.3%向上させる、はるかに小さなマルチタスク訓練セットを構築する。

要約(オリジナル)

Recent work in NLP has shown promising results in training models on large amounts of tasks to achieve better generalization. However, it is not well-understood how tasks are related, and how helpful training tasks can be chosen for a new task. In this work, we investigate whether knowing task relationships via pairwise task transfer improves choosing one or more source tasks that help to learn a new target task. We provide TaskWeb, a large-scale benchmark of pairwise task transfers for 22 NLP tasks using three different model types, sizes, and adaptation methods, spanning about 25,000 experiments. Then, we design a new method TaskShop based on our analysis of TaskWeb. TaskShop uses TaskWeb to estimate the benefit of using a source task for learning a new target task, and to choose a subset of helpful training tasks for multi-task training. Our method improves overall rankings and top-k precision of source tasks by 10% and 38%, respectively. We also use TaskShop to build much smaller multi-task training sets that improve zero-shot performances across 11 different target tasks by at least 4.3%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL