$α$VIL: Learning to Leverage Auxiliary Tasks for Multitask Learning

要約

マルチタスク学習は、共有モデルを利用してさまざまな (通常は関連する) タスクをトレーニングすることを目的とした機械学習のパラダイムです。
多くの場合、目標はすべてのトレーニング タスクの共同パフォーマンスを向上させることですが、別のアプローチは、特定のターゲット タスクのパフォーマンスに焦点を当て、残りのタスクを補助データとして扱い、トレーニング中にターゲットへのポジティブな伝達を活用することです。
このような設定では、補助タスクがターゲットに与えるプラスまたはマイナスの影響を推定することが重要になります。
トレーニング前またはトレーニング中にタスクの重みを推定する多くの方法が提案されていますが、それらは通常、ヒューリスティックまたは重み付け空間の広範な検索に依存しています。
我々は $\alpha$-Variable Importance Learning ($\alpha$VIL) と呼ばれる新しい手法を提案します。これは、トレーニング エポック間の基礎となるモデルのパラメーターのタスク固有の更新を直接利用することで、モデルのトレーニング中にタスクの重みを動的に調整できます。
。
実験によれば、$\alpha$VIL はさまざまな設定において他のマルチタスク学習アプローチよりも優れたパフォーマンスを発揮できることが示されています。
私たちの知る限り、これはタスクの重みの推定にモデルの更新を直接利用する初めての試みです。

要約(オリジナル)

Multitask Learning is a Machine Learning paradigm that aims to train a range of (usually related) tasks with the help of a shared model. While the goal is often to improve the joint performance of all training tasks, another approach is to focus on the performance of a specific target task, while treating the remaining ones as auxiliary data from which to possibly leverage positive transfer towards the target during training. In such settings, it becomes important to estimate the positive or negative influence auxiliary tasks will have on the target. While many ways have been proposed to estimate task weights before or during training they typically rely on heuristics or extensive search of the weighting space. We propose a novel method called $\alpha$-Variable Importance Learning ($\alpha$VIL) that is able to adjust task weights dynamically during model training, by making direct use of task-specific updates of the underlying model’s parameters between training epochs. Experiments indicate that $\alpha$VIL is able to outperform other Multitask Learning approaches in a variety of settings. To our knowledge, this is the first attempt at making direct use of model updates for task weight estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google