Min-Max Bilevel Multi-objective Optimization with Applications in Machine Learning

要約

表現学習やハイパーパラメーター最適化などの堅牢な機械学習のアプリケーションで、一般的な最小最大多目的 2 値最適化問題を検討します。
一般的な問題を解決し、MORBiT が $\widetilde{\mathcal{O
}}(n^{1/2} K^{-2/5})$ は、アルゴリズムの $K$ 回の反復で $n$ 目的を持つ弱凸問題のクラスの場合です。
私たちの分析では、新しい結果を利用して、滑らかでない最小最大多目的設定を処理し、目的 $n$ の数の準線形依存性を取得します。
ロバストな表現学習とロバストなハイパーパラメータ最適化に関する実験結果は、(i) 最小最大多目的設定を考慮することの利点、および (ii) 提案された MORBiT の収束特性を示しています。
コードは https://github.com/minimario/MORBiT にあります。

要約(オリジナル)

We consider a generic min-max multi-objective bilevel optimization problem with applications in robust machine learning such as representation learning and hyperparameter optimization. We design MORBiT, a novel single-loop gradient descent-ascent bilevel optimization algorithm, to solve the generic problem and present a novel analysis showing that MORBiT converges to the first-order stationary point at a rate of $\widetilde{\mathcal{O}}(n^{1/2} K^{-2/5})$ for a class of weakly convex problems with $n$ objectives upon $K$ iterations of the algorithm. Our analysis utilizes novel results to handle the non-smooth min-max multi-objective setup and to obtain a sublinear dependence in the number of objectives $n$. Experimental results on robust representation learning and robust hyperparameter optimization showcase (i) the advantages of considering the min-max multi-objective setup, and (ii) convergence properties of the proposed MORBiT. Our code is at https://github.com/minimario/MORBiT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google