Bayesian Optimization of Bilevel Problems

要約

バイレベル最適化は、1 つの最適化問題が別の最適化問題の中に入れ子になっている階層的な数学的フレームワークであり、経済学、エンジニアリング、機械学習などのさまざまな分野で複雑な意思決定プロセスをモデル化するための強力なツールとして登場しました。
このペーパーでは、上位レベルと下位レベルの関数が両方ともブラック ボックスであり、評価にコストがかかるバイレベル最適化に焦点を当てています。
我々は、上位レベルと下位レベルの決定を組み合わせた空間にわたるガウスプロセスとして上位レベルと下位レベルの関数をモデル化するベイジアン最適化フレームワークを提案し、異なるサブ問題間の知識伝達を活用できるようにします。
さらに、このモデルに対して新しい取得関数を提案します。
実験結果は、提案されたアルゴリズムがサンプル効率が高く、高品質の解を見つける点で既存の方法よりも優れていることを示しています。

要約(オリジナル)

Bilevel optimization, a hierarchical mathematical framework where one optimization problem is nested within another, has emerged as a powerful tool for modeling complex decision-making processes in various fields such as economics, engineering, and machine learning. This paper focuses on bilevel optimization where both upper-level and lower-level functions are black boxes and expensive to evaluate. We propose a Bayesian Optimization framework that models the upper and lower-level functions as Gaussian processes over the combined space of upper and lower-level decisions, allowing us to exploit knowledge transfer between different sub-problems. Additionally, we propose a novel acquisition function for this model. Our experimental results demonstrate that the proposed algorithm is highly sample-efficient and outperforms existing methods in finding high-quality solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google