Direction-oriented Multi-objective Learning: Simple and Provable Stochastic Algorithms

要約

多目的最適化 (MOO) は、複数の条件を使用した学習やマルチタスク学習 (MTL) など、複数の目的を伴う多くの機械学習の問題において影響力のあるフレームワークとなっています。
この論文では、MTL における平均損失などの目的の線形結合を最適化する方向の近傍内で共通降下方向を正規化することにより、新しい方向指向の多目的問題を提案します。
この定式化には特別なケースとして GD と MGDA が含まれており、CAGrad と同様に方向指向の利点が得られ、確率的アルゴリズムの設計が容易になります。
この問題を解決するために、単純な SGD タイプの更新を備えた確率的方向指向多目的勾配降下法 (SDMGrad) と、目的の数が多い設定で効率的な目的サンプリングを備えたそのバリアント SDMGrad-OS を提案します。
定数レベルの正則化パラメータ $\lambda$ の場合、SDMGrad と SDMGrad-OS は、複雑さが改善され、仮定が緩和され、パレート定常点に収束する可能性があることを示します。
$\lambda$ が増加すると、この収束点は目標の線形結合の静止点に減少します。
マルチタスク教師あり学習と強化学習に関する一連のタスクにおいて、提案手法の優れたパフォーマンスを実証します。
コードは https://github.com/ml-opt-lab/sdmgrad で提供されます。

要約(オリジナル)

Multi-objective optimization (MOO) has become an influential framework in many machine learning problems with multiple objectives such as learning with multiple criteria and multi-task learning (MTL). In this paper, we propose a new direction-oriented multi-objective problem by regularizing the common descent direction within a neighborhood of a direction that optimizes a linear combination of objectives such as the average loss in MTL. This formulation includes GD and MGDA as special cases, enjoys the direction-oriented benefit as in CAGrad, and facilitates the design of stochastic algorithms. To solve this problem, we propose Stochastic Direction-oriented Multi-objective Gradient descent (SDMGrad) with simple SGD type of updates, and its variant SDMGrad-OS with an efficient objective sampling in the setting where the number of objectives is large. For a constant-level regularization parameter $\lambda$, we show that SDMGrad and SDMGrad-OS provably converge to a Pareto stationary point with improved complexities and milder assumptions. For an increasing $\lambda$, this convergent point reduces to a stationary point of the linear combination of objectives. We demonstrate the superior performance of the proposed methods in a series of tasks on multi-task supervised learning and reinforcement learning. Code is provided at https://github.com/ml-opt-lab/sdmgrad.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google