Unprejudiced Training Auxiliary Tasks Makes Primary Better: A Multi-Task Learning Perspective

要約

人間は、相対的なタスクからの知識を活用して、主要なタスクの学習を向上させることができます。
同様に、マルチタスク学習方法では、特定の主タスクにおけるニューラル ネットワークのパフォーマンスを向上させるために補助タスクを使用することを提案しています。
ただし、以前の方法では、補助タスクは慎重に選択されますが、トレーニング中は二次的なものとして扱われることがよくありました。
補助損失に割り当てられる重みは通常、主損失の重みよりも小さいため、補助タスクのトレーニングが不十分になり、最終的には主タスクを効果的にサポートできなくなります。
この問題に対処するために、すべてのタスクにわたってバランスのとれたトレーニングを保証する、不確実性に基づいた公平な学習方法を提案します。
さらに、バックプロパゲーション中に勾配と不確実性の情報の両方を考慮して、主要なタスクのパフォーマンスをさらに向上させます。
広範な実験により、私たちの方法が最先端のアプローチと同等かそれ以上のパフォーマンスを達成できることが示されています。
さらに、私たちの重み付け戦略は、ノイズ補助タスクの擬似ラベルに関係なく、主タスクのパフォーマンスを向上させるのに効果的かつ堅牢です。

要約(オリジナル)

Human beings can leverage knowledge from relative tasks to improve learning on a primary task. Similarly, multi-task learning methods suggest using auxiliary tasks to enhance a neural network’s performance on a specific primary task. However, previous methods often select auxiliary tasks carefully but treat them as secondary during training. The weights assigned to auxiliary losses are typically smaller than the primary loss weight, leading to insufficient training on auxiliary tasks and ultimately failing to support the main task effectively. To address this issue, we propose an uncertainty-based impartial learning method that ensures balanced training across all tasks. Additionally, we consider both gradients and uncertainty information during backpropagation to further improve performance on the primary task. Extensive experiments show that our method achieves performance comparable to or better than state-of-the-art approaches. Moreover, our weighting strategy is effective and robust in enhancing the performance of the primary task regardless the noise auxiliary tasks’ pseudo labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google