A First-Order Multi-Gradient Algorithm for Multi-Objective Bi-Level Optimization

要約

この論文では、多目的二レベル最適化 (MOBLO) 問題について研究します。ここで、上位レベルの部分問題は多目的最適化問題であり、下位レベルの部分問題はスカラー最適化に関するものです。
既存の勾配ベースの MOBLO アルゴリズムはヘッセ行列を計算する必要があるため、計算効率が悪いという問題が発生します。
これに対処するために、FORUM と呼ばれる MOBLO 用の効率的な一次マルチ勾配法を提案します。
具体的には、MOBLO 問題を、価値関数アプローチによる制約付き多目的最適化 (MOO) 問題として再定式化します。
次に、困難な制約付き MOO 問題を解決するための新しいマルチグラディエント集約手法を提案します。
理論的には、提案された方法の効率と非漸近収束結果を示す複雑性分析を提供します。
経験的に、広範な実験により、さまざまな学習問題における提案された FORUM メソッドの有効性と効率性が実証されています。
特に、3 つのマルチタスク学習ベンチマーク データセットで最先端のパフォーマンスを実現します。

要約(オリジナル)

In this paper, we study the Multi-Objective Bi-Level Optimization (MOBLO) problem, where the upper-level subproblem is a multi-objective optimization problem and the lower-level subproblem is for scalar optimization. Existing gradient-based MOBLO algorithms need to compute the Hessian matrix, causing the computational inefficient problem. To address this, we propose an efficient first-order multi-gradient method for MOBLO, called FORUM. Specifically, we reformulate MOBLO problems as a constrained multi-objective optimization (MOO) problem via the value-function approach. Then we propose a novel multi-gradient aggregation method to solve the challenging constrained MOO problem. Theoretically, we provide the complexity analysis to show the efficiency of the proposed method and a non-asymptotic convergence result. Empirically, extensive experiments demonstrate the effectiveness and efficiency of the proposed FORUM method in different learning problems. In particular, it achieves state-of-the-art performance on three multi-task learning benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google