Sample-Level Weighting for Multi-Task Learning with Auxiliary Tasks

要約

マルチタスク学習 (MTL) は、関連タスクと表現を共有することにより、ニューラル ネットワークの汎化パフォーマンスを向上させることができます。
それにもかかわらず、MTL はタスク間の有害な干渉によってパフォーマンスを低下させる可能性もあります。
最近の研究では、この干渉の解決策としてタスク固有の損失重み付けが追求されています。
ただし、既存のアルゴリズムはタスクをアトミックなものとして扱い、タスク レベルを超えて有害な信号と有用な信号を明示的に分離する機能を欠いています。
この目的を達成するために、補助タスクを使用したマルチタスク学習のためのサンプルレベルの重み付けアルゴリズムである SLGrad を提案します。
SLGrad は、サンプル固有のタスクの重み付けを通じて、トレーニング中にタスクの分布を再形成し、有害な補助信号を排除し、有用なタスク信号を増強します。
(半) 合成データセットおよび一般的な教師ありマルチタスク問題では、汎化パフォーマンスの大幅な向上が観察されます。

要約(オリジナル)

Multi-task learning (MTL) can improve the generalization performance of neural networks by sharing representations with related tasks. Nonetheless, MTL can also degrade performance through harmful interference between tasks. Recent work has pursued task-specific loss weighting as a solution for this interference. However, existing algorithms treat tasks as atomic, lacking the ability to explicitly separate harmful and helpful signals beyond the task level. To this end, we propose SLGrad, a sample-level weighting algorithm for multi-task learning with auxiliary tasks. Through sample-specific task weights, SLGrad reshapes the task distributions during training to eliminate harmful auxiliary signals and augment useful task signals. Substantial generalization performance gains are observed on (semi-) synthetic datasets and common supervised multi-task problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google