Improvable Gap Balancing for Multi-Task Learning

要約

マルチタスク学習 (MTL) では、勾配平衡化はパフォーマンスの向上につながることが多いため、損失平衡化よりも最近、より研究の関心を集めています。
ただし、損失バランシングは勾配バランシングよりもはるかに効率的であるため、MTL でさらに検討する価値は依然としてあります。
従来の研究は通常、複数のタスクにわたってさまざまな改善可能なギャップが存在することを無視していることに注意してください。タスクごとの改善可能なギャップは、現在のトレーニングの進行状況と望ましい最終的なトレーニングの進行状況との間の距離として定義されます。
したがって、損失調整後も、多くの場合、パフォーマンスの不均衡が依然として発生します。
この論文では、損失バランシング フレームワークに従って、MTL 用の 2 つの新しい改善可能なギャップ バランシング (IGB) アルゴリズムを提案します。1 つは単純なヒューリスティックを採用し、もう 1 つは (初めて) MTL に深層強化学習を導入します。
特に、MTL で損失のバランスを直接調整する代わりに、両方のアルゴリズムは改善可能なギャップ バランスのためにタスクの重みを動的に割り当てることを選択します。
さらに、IGB と勾配バランシングを組み合わせて、2 種類のアルゴリズム間の相補性を示します。
2 つのベンチマーク データセットに対する広範な実験により、当社の IGB アルゴリズムが損失バランシングを通じて MTL で最良の結果をもたらし、勾配バランシングと組み合わせることでさらなる改善が達成されることが実証されました。
コードは https://github.com/YanqiDai/IGB4MTL で入手できます。

要約(オリジナル)

In multi-task learning (MTL), gradient balancing has recently attracted more research interest than loss balancing since it often leads to better performance. However, loss balancing is much more efficient than gradient balancing, and thus it is still worth further exploration in MTL. Note that prior studies typically ignore that there exist varying improvable gaps across multiple tasks, where the improvable gap per task is defined as the distance between the current training progress and desired final training progress. Therefore, after loss balancing, the performance imbalance still arises in many cases. In this paper, following the loss balancing framework, we propose two novel improvable gap balancing (IGB) algorithms for MTL: one takes a simple heuristic, and the other (for the first time) deploys deep reinforcement learning for MTL. Particularly, instead of directly balancing the losses in MTL, both algorithms choose to dynamically assign task weights for improvable gap balancing. Moreover, we combine IGB and gradient balancing to show the complementarity between the two types of algorithms. Extensive experiments on two benchmark datasets demonstrate that our IGB algorithms lead to the best results in MTL via loss balancing and achieve further improvements when combined with gradient balancing. Code is available at https://github.com/YanqiDai/IGB4MTL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google