Scalable Bilevel Loss Balancing for Multi-Task Learning

要約

マルチタスク学習（MTL）は、複数のタスクを同時に学習する能力のために広く採用されています。
既存の勾配操作方法は、多くの場合、単純なスカラリゼーションベースのアプローチよりもバランスのとれたソリューションを生成しますが、通常、時間とメモリの両方で$ \ mathcal {o}（k）$の重要な計算オーバーヘッドが発生します。
。
このホワイトペーパーでは、MTLのシンプルでスケーラブルな損失バランスアプローチであるBilb4mtlを提案します。
私たちの方法には、3つの重要なコンポーネントが組み込まれています。（i）初期損失正規化、（ii）バイレベル損失バランス定式化、および（iii）$ \ mathcal {o}（1）$の時間と$の時間と$の時間と$の$の1次アルゴリズムをスケーリング可能な1次アルゴリズム
メモリ。
理論的には、bilb4mtlは、バイレベル損失のバランスバランス問題の固定点だけでなく、$ \ epsilon $ ccurateパレートの静止条件下でのすべての$ k $損失関数の固定点に収束を保証することを証明します。
多様なマルチタスクデータセットに関する広範な実験は、BILB4MTLが精度と効率の両方で最先端のパフォーマンスを達成することを示しています。
コードはhttps://github.com/optmn-lab/-bilb4mtlで入手できます。

要約(オリジナル)

Multi-task learning (MTL) has been widely adopted for its ability to simultaneously learn multiple tasks. While existing gradient manipulation methods often yield more balanced solutions than simple scalarization-based approaches, they typically incur a significant computational overhead of $\mathcal{O}(K)$ in both time and memory, where $K$ is the number of tasks. In this paper, we propose BiLB4MTL, a simple and scalable loss balancing approach for MTL, formulated from a novel bilevel optimization perspective. Our method incorporates three key components: (i) an initial loss normalization, (ii) a bilevel loss-balancing formulation, and (iii) a scalable first-order algorithm that requires only $\mathcal{O}(1)$ time and memory. Theoretically, we prove that BiLB4MTL guarantees convergence not only to a stationary point of the bilevel loss balancing problem but also to an $\epsilon$-accurate Pareto stationary point for all $K$ loss functions under mild conditions. Extensive experiments on diverse multi-task datasets demonstrate that BiLB4MTL achieves state-of-the-art performance in both accuracy and efficiency. Code is available at https://github.com/OptMN-Lab/-BiLB4MTL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google