No More Tuning: Prioritized Multi-Task Learning with Lagrangian Differential Multiplier Methods

要約

実際のシステムではマルチタスクが遍在しているため、マルチタスク学習 (MTL) はさまざまな領域に広く応用されています。
実際のシナリオでは、これらのタスクの優先順位は異なることがよくあります。
たとえば、Web 検索では、クリックスルー率やユーザー エンゲージメントなどの他の指標よりも関連性が優先されることがよくあります。
既存のフレームワークは、異なるタスク間の優先順位付けに十分な注意を払っておらず、通常、タスク固有の損失関数の重みを調整してタスクの優先順位を区別しています。
ただし、このアプローチではタスクの数が増えるにつれて課題が発生し、ハイパーパラメーター調整の複雑さが指数関数的に増加します。
さらに、複数の目標を同時に最適化すると、優先度の低いタスクからの干渉により、優先度の高いタスクのパフォーマンスに悪影響を及ぼす可能性があります。
この論文では、段階的なマルチタスク最適化のためにラグランジュ微分乗算法を採用した新しいマルチタスク学習フレームワークを紹介します。
他のタスクからの干渉を受けることなく、優先度の高いタスクのパフォーマンスを向上させるように設計されています。
その主な利点は、さまざまなタスクのハイパーパラメータのバランスをとる必要がなく、複数の目標を自動的に最適化できるため、手動調整の必要性がなくなることにあります。
さらに、私たちの方法が最適化を保証し、プロセスの信頼性を高めることを実証する理論的分析を提供します。
私たちは、複数の公開データセットでの実験と、大規模な産業検索ランキング システムであるタオバオ検索でのアプリケーションを通じてその有効性を実証し、その結果、さまざまなビジネス指標全体で大幅な改善が見られました。

要約(オリジナル)

Given the ubiquity of multi-task in practical systems, Multi-Task Learning (MTL) has found widespread application across diverse domains. In real-world scenarios, these tasks often have different priorities. For instance, In web search, relevance is often prioritized over other metrics, such as click-through rates or user engagement. Existing frameworks pay insufficient attention to the prioritization among different tasks, which typically adjust task-specific loss function weights to differentiate task priorities. However, this approach encounters challenges as the number of tasks grows, leading to exponential increases in hyper-parameter tuning complexity. Furthermore, the simultaneous optimization of multiple objectives can negatively impact the performance of high-priority tasks due to interference from lower-priority tasks. In this paper, we introduce a novel multi-task learning framework employing Lagrangian Differential Multiplier Methods for step-wise multi-task optimization. It is designed to boost the performance of high-priority tasks without interference from other tasks. Its primary advantage lies in its ability to automatically optimize multiple objectives without requiring balancing hyper-parameters for different tasks, thereby eliminating the need for manual tuning. Additionally, we provide theoretical analysis demonstrating that our method ensures optimization guarantees, enhancing the reliability of the process. We demonstrate its effectiveness through experiments on multiple public datasets and its application in Taobao search, a large-scale industrial search ranking system, resulting in significant improvements across various business metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google