Identification of Negative Transfers in Multitask Learning Using Surrogate Models

要約

マルチタスク学習は、リソースの少ないターゲット タスクを複数の関連するソース タスクで強化することでトレーニングするために実際に広く使用されています。
ただし、すべてのソース タスクをターゲット タスクと単純に組み合わせても、負の転送によりターゲット タスクの予測パフォーマンスが常に向上するとは限りません。
したがって、マルチタスク学習における重要な問題は、ターゲット タスクに利益をもたらすソース タスクのサブセットを特定することです。
サブセットの数はソース タスクの数に応じて指数関数的に増加するため、この問題は計算的に困難です。
サブセット選択のための効率的なヒューリスティックは、タスクのサブセットとマルチタスクの学習パフォーマンスの間の関係を常に捕捉するとは限りません。
このペーパーでは、サロゲート モデリングを介してこの問題に対処する効率的な手順を紹介します。
サロゲート モデリングでは、ソース タスクの (ランダムな) サブセットをサンプリングし、マルチタスクの学習パフォーマンスを事前計算します。
次に、事前に計算されたパフォーマンスを、目に見えないタスク サブセットのマルチタスク パフォーマンスも予測できる線形回帰モデルで近似します。
このモデルを当てはめるには、ソース タスクの数の多くのサブセットを線形にサンプリングするだけで十分であることを理論的および経験的に示します。
適合モデルは、各ソース タスクとターゲット タスク間の関連性スコアを提供します。
関連性スコアを使用して、しきい値処理によるマルチタスク学習のサブセット選択を実行します。
広範な実験を通じて、私たちのアプローチは、複数のソースタスクからターゲットタスクへの負の転送を、既存のタスク親和性測定よりもはるかに正確に予測できることを示しています。
さらに、いくつかの弱い監視データセットに対して、私たちのアプローチがマルチタスク学習の既存の最適化手法を一貫して改善していることを示します。

要約(オリジナル)

Multitask learning is widely used in practice to train a low-resource target task by augmenting it with multiple related source tasks. Yet, naively combining all the source tasks with a target task does not always improve the prediction performance for the target task due to negative transfers. Thus, a critical problem in multitask learning is identifying subsets of source tasks that would benefit the target task. This problem is computationally challenging since the number of subsets grows exponentially with the number of source tasks; efficient heuristics for subset selection do not always capture the relationship between task subsets and multitask learning performances. In this paper, we introduce an efficient procedure to address this problem via surrogate modeling. In surrogate modeling, we sample (random) subsets of source tasks and precompute their multitask learning performances. Then, we approximate the precomputed performances with a linear regression model that can also predict the multitask performance of unseen task subsets. We show theoretically and empirically that fitting this model only requires sampling linearly many subsets in the number of source tasks. The fitted model provides a relevance score between each source and target task. We use the relevance scores to perform subset selection for multitask learning by thresholding. Through extensive experiments, we show that our approach predicts negative transfers from multiple source tasks to target tasks much more accurately than existing task affinity measures. Additionally, we demonstrate that for several weak supervision datasets, our approach consistently improves upon existing optimization methods for multitask learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google