Effective Bilevel Optimization via Minimax Reformulation

要約

バイレベル最適化は、ハイパーパラメーターの最適化、データ クリーニング、メタ学習などのさまざまな機械学習問題に応用されて成功しています。
ただし、その膨大な計算コストにより、大規模な問題での利用には大きな課題が生じます。
この課題は、バイレベル定式化の入れ子構造によって発生し、各超勾配計算にはコストのかかる内部最適化手順が必要になります。
この問題に対処するために、外側と内側の依存関係を効果的に分離する、ミニマックス問題としてのバイレベル最適化の再定式化を提案します。
穏やかな条件下では、これら 2 つの問題が同等であることを示します。
さらに、収束を保証しながら結果として生じるミニマックス問題を解決するために、多段階の勾配降下および上昇 (GDA) アルゴリズムを導入します。
広範な実験結果は、私たちの方法が最先端のバイレベル方法よりも優れ、計算コストを大幅に削減できることを示しています。

要約(オリジナル)

Bilevel optimization has found successful applications in various machine learning problems, including hyper-parameter optimization, data cleaning, and meta-learning. However, its huge computational cost presents a significant challenge for its utilization in large-scale problems. This challenge arises due to the nested structure of the bilevel formulation, where each hyper-gradient computation necessitates a costly inner optimization procedure. To address this issue, we propose a reformulation of bilevel optimization as a minimax problem, effectively decoupling the outer-inner dependency. Under mild conditions, we show these two problems are equivalent. Furthermore, we introduce a multi-stage gradient descent and ascent (GDA) algorithm to solve the resulting minimax problem with convergence guarantees. Extensive experimental results demonstrate that our method outperforms state-of-the-art bilevel methods while significantly reducing the computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google