Three-Way Trade-Off in Multi-Objective Learning: Optimization, Generalization and Conflict-Avoidance

要約

多目的学習 (MOL) 問題は、複数の学習基準、データ モダリティ、または学習タスクがある場合に、新しい機械学習の問題でよく発生します。
単一目的の学習とは異なり、MOL における重要な課題の 1 つは、反復的な最適化プロセス中に異なる目的の間で競合が発生する可能性があることです。
最近の研究では、MGDA やそのバリアントなど、MOL 用のさまざまな動的重み付けアルゴリズムが開発されました。その中心的な考え方は、目的間の競合を回避する更新方向を見つけることです。
魅力的な直感ではありますが、実証研究によると、動的重み付け方法は常に静的重み付け方法よりも優れているとは限りません。
この理論と実践のギャップを理解するために、MGDA の新しい確率論的バリアントであるダブル サンプリングによる多目的勾配 (MoDo) アルゴリズムに焦点を当て、動的重み付けベースの MoDo の一般化パフォーマンスと、
アルゴリズムの安定性のレンズ。
おそらく驚くべきことに、MGDA の背後にある重要な理論的根拠 (競合回避の方向に沿って更新すること) が、動的重み付けアルゴリズムが最適な ${\cal O}(1/\sqrt{n})$ 集団リスクを達成するのを妨げる可能性があることがわかりました。
n$ はトレーニング サンプルの数です。
さらに、動的重みの変動が、MOL に特有の最適化、一般化、競合回避の間の 3 方向のトレードオフに与える影響を実証します。
このフレームワークの下で他の既存の確率的 MOL アルゴリズムを分析することにより、理論的フレームワークの一般性を示します。
実際の適用可能性を実証するために、さまざまなマルチタスク学習ベンチマークに関する実験が実行されます。
コードは https://github.com/heshandevaka/Trade-Off-MOL で入手できます。

要約(オリジナル)

Multi-objective learning (MOL) problems often arise in emerging machine learning problems when there are multiple learning criteria, data modalities, or learning tasks. Different from single-objective learning, one of the critical challenges in MOL is the potential conflict among different objectives during the iterative optimization process. Recent works have developed various dynamic weighting algorithms for MOL such as MGDA and its variants, where the central idea is to find an update direction that avoids conflicts among objectives. Albeit its appealing intuition, empirical studies show that dynamic weighting methods may not always outperform static ones. To understand this theory-practical gap, we focus on a new stochastic variant of MGDA – the Multi-objective gradient with Double sampling (MoDo) algorithm, and study the generalization performance of the dynamic weighting-based MoDo and its interplay with optimization through the lens of algorithm stability. Perhaps surprisingly, we find that the key rationale behind MGDA — updating along conflict-avoidant direction – may hinder dynamic weighting algorithms from achieving the optimal ${\cal O}(1/\sqrt{n})$ population risk, where $n$ is the number of training samples. We further demonstrate the impact of the variability of dynamic weights on the three-way trade-off among optimization, generalization, and conflict avoidance that is unique in MOL. We showcase the generality of our theoretical framework by analyzing other existing stochastic MOL algorithms under the framework. Experiments on various multi-task learning benchmarks are performed to demonstrate the practical applicability. Code is available at https://github.com/heshandevaka/Trade-Off-MOL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google