Uniform Loss vs. Specialized Optimization: A Comparative Analysis in Multi-Task Learning

要約

競合する勾配や異なるグラデーション規範などの問題に対処することにより、マルチタスク学習における特殊なマルチタスクオプティマー（SMTO）バランスタスク学習。
しかし、最近の批判は、同様に加重されたタスクがSMTOと比較して競争結果を達成できることを示唆しており、以前のSMTOの結果は不十分なハイパーパラメーターの最適化と正規化の欠如に影響されたと主張しています。
この作業では、この動作を明確にするために、より複雑なマルチタスクの問題に関する最新の方法を含むSMTOの広範な経験的評価を通じて、これらの主張を評価します。
私たちの調査結果は、SMTOSが均一な損失と比較してうまく機能し、固定重量がSMTOと比較して競争力のあるパフォーマンスを達成できることを示しています。
さらに、場合によっては均一な損失がSMTOSと同様に機能する理由を示します。
コードは公開されます。

要約(オリジナル)

Specialized Multi-Task Optimizers (SMTOs) balance task learning in Multi-Task Learning by addressing issues like conflicting gradients and differing gradient norms, which hinder equal-weighted task training. However, recent critiques suggest that equally weighted tasks can achieve competitive results compared to SMTOs, arguing that previous SMTO results were influenced by poor hyperparameter optimization and lack of regularization. In this work, we evaluate these claims through an extensive empirical evaluation of SMTOs, including some of the latest methods, on more complex multi-task problems to clarify this behavior. Our findings indicate that SMTOs perform well compared to uniform loss and that fixed weights can achieve competitive performance compared to SMTOs. Furthermore, we demonstrate why uniform loss perform similarly to SMTOs in some instances. The code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google