TaskWeb: Selecting Better Source Tasks for Multi-task NLP

要約

NLP における最近の研究では、より良い一般化を達成するために、大量のタスクでモデルをトレーニングするという有望な結果が示されています。
ただし、タスクがどのように関連しているのか、新しいタスクに対してどのように役立つトレーニング タスクを選択できるのかは十分に理解されていません。
この研究では、ペアごとのタスク転送を介してタスクの関係を知ることで、新しいターゲット タスクの学習に役立つ 1 つ以上のソース タスクの選択が改善されるかどうかを調査します。
当社は、3 つの異なるモデル タイプ、サイズ、および適応方法を使用した 22 の NLP タスクのペアワイズ タスク転送の大規模ベンチマークである TaskWeb を提供しており、その範囲は約 25,000 の実験に及びます。
次に、TaskWeb の分析に基づいて新しいメソッド TaskShop を設計します。
TaskShop は TaskWeb を使用して、新しいターゲットの学習にソース タスクを使用する利点を推定し、マルチタスク学習に役立つトレーニング タスクのサブセットを選択します。
私たちの方法では、ソース タスクの全体的なランキングと上位 K の精度がそれぞれ 12% と 29% 向上します。
また、TaskShop を使用して、11 の異なるターゲット タスクにわたるゼロショット パフォーマンスを少なくとも 4.3% 向上させる、より小規模なマルチタスク トレーニング セットを構築します。

要約(オリジナル)

Recent work in NLP has shown promising results in training models on large amounts of tasks to achieve better generalization. However, it is not well-understood how tasks are related, and how helpful training tasks can be chosen for a new task. In this work, we investigate whether knowing task relationships via pairwise task transfer improves choosing one or more source tasks that help to learn a new target task. We provide TaskWeb, a large-scale benchmark of pairwise task transfers for 22 NLP tasks using three different model types, sizes, and adaptation methods, spanning about 25,000 experiments. Then, we design a new method TaskShop based on our analysis of TaskWeb. TaskShop uses TaskWeb to estimate the benefit of using a source task for learning a new target, and to choose a subset of helpful training tasks for multi-task learning. Our method improves overall rankings and top-k precision of source tasks by 12% and 29%, respectively. We also use TaskShop to build smaller multi-task training sets that improve zero-shot performances across 11 different target tasks by at least 4.3%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google